Graph Meta Learning

روش‌های رایج برای گراف‌ها به اطلاعات برچسب‌ها و لبه‌های فراوانی برای یادگیری نیاز دارند، با این حال بسیاری از گراف‌های دنیای واقعی فقط چند برچسب در دسترس دارند. این یک چالش جدید است: چگونه می‌توان پیش‌بینی‌های دقیق در رژیم‌های کم داده انجام داد؟

وقتی داده‌های یک کار جدید کمیاب است، فرا یادگیری می‌تواند از تجربیات قبلی بیاموزد و سوگیری‌های استقرایی بسیار مورد نیاز را برای انطباق سریع با وظایف جدید شکل دهد. با این حال، یک روش سیستماتیک برای فرمول‌بندی مسائل فرا یادگیری بر روی داده‌های ساختاریافته گراف وجود ندارد. در این کار، ما ابتدا سه مسئله فرایادگیری گراف مهم اما متمایز را فرموله می‌کنیم. ایده اصلی انطباق با گراف یا مجموعه برچسب مورد علاقه با یادگیری از گراف‌ها یا مجموعه برچسب‌های مرتبط است.

الگوریتم G-Meta

G-Meta یک الگوریتم فرایادگیری است که در تمام مسائل فرایادگیری فوق برتری دارد. برخلاف وضعیت موجود که پیام‌ها را در کل گراف منتشر می‌کند، G-Meta از زیرگراف‌های محلی برای انتقال اطلاعات خاص زیرگراف و یادگیری سریع‌تر دانش قابل انتقال از طریق گرادیان‌های متا استفاده می‌کند.

خواص جذاب G-Meta

(1) توجیه نظری: از لحاظ نظری نشان می‌دهیم که شواهد یک پیش‌بینی را می‌توان در زیرگراف محلی اطراف گره یا لبه هدف یافت.

(2) استقرایی: از آنجایی که ورودی GNN یک زیرگراف متفاوت برای هر انتشار در طول آموزش متا است، می‌تواند به زیرگراف‌هایی که قبلاً دیده نشده‌اند، مانند مواردی که در فراآزمایش وجود دارد، تعمیم دهد. این برخلاف کارهای قبلی است که در آن استقرایی به معنای استفاده از وزن یکسان تولید شده از یک گراف منفرد آموزش دیده و اعمال آن بر روی گراف ساختاری متفاوتی است که قبلاً دیده نشده بود.

(3) مقیاس‌پذیر: در یک محیط فرایادگیری گراف معمولی، ما گراف‌های زیادی داریم و هر کدام دارای مقادیر زیادی گره و یال هستند. اما هر کار فقط به چند نقطه داده پراکنده در گراف‌ها نگاه می‌کند. کارهای قبلی در تمام گراف‌ها منتشر می‌شوند تا تعبیه‌هایی را برای چند گره ایجاد کنند که بیهوده است. در مقابل، G-Meta به سادگی زیرگراف‌های کوچک را در اطراف چند نقطه داده برای هر کار استخراج می‌کند، و بنابراین توسط هیچ تعداد گره، لبه و گراف محدود نمی‌شود.

(4) به طور کلی قابل اجرا: G-Meta از یک زیرگراف جداگانه برای هر نقطه داده استفاده می‌کند و بنابراین وابستگی بین گراف‌ها و برچسب‌ها را می‌شکند. در حالی که کارهای قبلی فقط در یکی از مسائل فرایادگیری گراف برای وظایف طبقه‌بندی گره یا پیش‌بینی پیوند برتری دارند، G-Meta برای هر سه مسئله فرایادگیری گراف و وظایف پیش‌بینی گره و پیوند کار می‌کند.

G-Meta در فرایادگیری گراف برتر است

از نظر تجربی، آزمایش‌ها بر روی هفت مجموعه داده و نه روش پایه نشان می‌دهد که G-Meta تا 16.3 درصد از روش‌های موجود بهتر عمل می‌کند. برخلاف روش‌های قبلی، G-Meta با موفقیت در تنظیمات چالش‌برانگیز یادگیری چند شات که نیاز به تعمیم به گراف‌های کاملاً جدید و برچسب‌هایی که قبلاً دیده نشده است، یاد می‌گیرد. در نهایت، G-Meta به گراف‌های بزرگ مقیاس می‌شود، که ما آن را بر روی یک مجموعه داده جدید Tree-of-Life متشکل از 1840 گراف نشان می‌دهیم، که افزایش دو مرتبه‌ای در تعداد گراف‌های استفاده شده در کار قبلی است.

https://papers.nips.cc/paper/2020/hash/412604be30f701b1b1e3124c252065e6-Abstract.html

https://arxiv.org/abs/2006.07889

https://zitniklab.hms.harvard.edu/publications/posters/GMeta-NeurIPS20.pdf