یادگیری گراف مادام العمر

شبکه‌های عصبی گراف (GNN) مدل‌های قدرتمندی برای بسیاری از وظایف با ساختار گراف هستند. مدل‌های موجود اغلب فرض می‌کنند که ساختار کاملی از یک گراف در طول آموزش در دسترس است. با این حال، داده‌های ساختاریافته گراف اغلب به صورت جریانی شکل می‌گیرند به طوری که یادگیری یک گراف به طور مداوم اغلب ضروری است.

یک گراف در حال رشد زمانی، که یادگیری گراف به روشی متوالی چالش برانگیز است.

تکنیک‌های یادگیری مادام العمر موجود بیشتر برای شبکه‌های عصبی کانولوشنال (CNN) طراحی شده‌اند، که فرض می‌کند نمونه‌های داده جدید مستقل هستند. با این حال، در یادگیری گراف مادام العمر، گره‌ها به هم متصل شده و به صورت پویا اضافه می‌شوند. در این کار، ما یک مشاهده مهم داریم:

·         تعداد گره‌ها به صورت پویا افزایش می‌یابد، در حالی که تعداد ویژگی‌های گره پایدار است.

بنابراین، گراف ویژگی را معرفی می‌کنیم که ویژگی‌ها را به عنوان گره می‌گیرد و گره‌ها را به گراف‌های مستقل تبدیل می‌کند. این با موفقیت مسئله اصلی دسته‌بندی گره‌ها را به دسته‌بندی گراف تبدیل می‌کند، که در آن گره‌های افزایشی به نمونه‌های آموزشی مستقل تبدیل می‌شوند.

گراف ویژگی ویژگی‌ها را به عنوان گره می‌گیرد و گره‌ها را به گراف تبدیل می‌کند و در نتیجه به جای پیش‌بینی گره، یک پیش‌بینی‌گر گراف ایجاد می‌شود. گره a را با برچسب در گراف معمولی به عنوان مثال در نظر بگیرید، ویژگی‌های آن گره‌هایی در گراف ویژگی هستند.

مجاورت ویژگی از طریق همبستگی متقابل ویژگی بین و همسایگان آن برای مدل‌سازی ویژگی «تعامل» ایجاد می‌شود. این باعث می‌شود که تکنیک‌های یادگیری مادام‌العمر برای CNN برای GNN قابل اجرا باشد، زیرا گره‌های جدید در یک گراف معمولی به نمونه‌های آموزشی فردی تبدیل می‌شوند.

رابطه یک گراف و گراف ویژگی.

برنامه‌های کاربردی

1. تطبیق ویژگی

تطبیق ویژگی‌های تصویر برای بسیاری از وظایف بینایی کامپیوتری سه بعدی از جمله مکان‌یابی و نگاشت همزمان[1] (SLAM) بسیار مهم است. همانطور که در زیر نشان داده شده است، نقطه علاقه و توصیف‌گرهای آنها یک گراف در حال رشد زمانی نامحدود را تشکیل می‌دهند که در آن نقاط ویژگی گره‌ها و توصیف‌گرهای آنها ویژگی‌های گره هستند. به این ترتیب، مسئله تطبیق ویژگی به پیش‌بینی لبه برای یک گراف در حال رشد زمانی تبدیل می‌شود.

تطبیق ویژگی یک مسئله پیش‌بینی لبه برای گراف رشد زمانی است.

در محیطی با روشنایی پویا، شبکه گراف ویژگی نیز می‌تواند به دقت و استحکام بسیار بهتری دست یابد که اثربخشی آن را نشان می‌دهد.

فوکوس کردن در محیطی با نور پویا.

2. تشخیص اقدام انسانی توزیع شده با دستگاه‌های پوشیدنی

پنج حسگر که هر کدام از یک شتاب‌سنج سه محوری و یک ژیروسکوپ دو محوری تشکیل شده‌اند، به ترتیب در ساعد چپ و راست، کمر، مچ پا چپ و راست قرار دارند. هر سنسور 5 جریان داده تولید می‌کند و در مجموع 5 × 5 جریان داده در دسترس است. 13 دسته اقدام روزانه در نظر گرفته شده است، از جمله استراحت در حالت ایستاده (ReSt)، استراحت در حالت نشسته (ReSi)، استراحت در حالت دراز کشیدن (ReLi)، راه رفتن به جلو (WaFo)، راه رفتن به جلو دایره چپ (WaLe)، راه رفتن به جلو در دایره راست (WaRi)، گردش به سمت چپ (TuLe)، گردش به راست (TuRi)، بالا (بالا)، (Jup)، (Jup)، پایین (Jup)، پایین (Jup) ویلچر هل (Push). بنابراین، تشخیص عمل یک مسئله دسته‌بندی زیرگراف است.

تشخیص کنش انسان مادام العمر یک مسئله دسته‌بندی زیرگراف مادام العمر است.

شبکه گراف ویژگی[2] ما (FGN) عملکرد بسیار بالاتر و پایداری نسبت به سایر روش‌ها از جمله GCN، APPNP و GAT دارد. همچنین تقریباً در همه دسته‌ها به دقت نهایی بسیار بالاتری در هر کلاس می‌رسد.

·         FGN اولین روشی است که از طریق یک توپولوژی گراف جدید، یادگیری گراف را به یادگیری مادام العمر متصل می‌کند.

انتشار

چن وانگ، یونگ کیو، داسونگ گائو، سباستین شرر. یادگیری گراف مادام العمر. کنفرانس 2022 بینایی کامپیوتری و تشخیص الگو (CVPR)، 2022.

https://arxiv.org/pdf/2009.00647.pdf

کد منبع

یادگیری گراف مادام العمر (گراف استنادی)

https://github.com/wang-chen/LGL

یادگیری گراف مادام العمر (تشخیص عمل)

https://github.com/wang-chen/lgl-action-recognition

یادگیری گراف مادام العمر (تطبیق ویژگی)

https://github.com/wang-chen/lgl-feature-matching

---

[1] simultaneous localization and mapping

[2] feature graph network