یادگیری عمیق و گراف‌ها

قصیده‌ای وجود دارد که به هیپوقراط نسبت داده می‌شود که می‌گوید: “ars longa, vita brevis” (هنر طولانی است، زندگی کوتاه است). این به احساس اضطراب اشاره دارد زمانی که سعی می‌کنید تمام مهارت‌ها و دانش لازم برای پزشک شدن را بیاموزید، در حالی که روزهای شما 24 ساعت است و طول عمر شما بیش از 80 سال نیست.

زمانی که سعی می‌کنید از تمام پیشرفت‌های جدید در زمینه یادگیری ماشینی و یادگیری عمیق مطلع شوید، همان احساسی را دارید که امروزه در مورد معماری‌های یادگیری عمیق مبتنی بر گراف‌ها وجود دارد. در زیر مجموعه‌ای از مقالات عالی برای خواندن در مورد این موضوع داغ جذاب وجود دارد:

 

مقدمه‌ای آرام برای یادگیری عمیق برای گراف‌ها

A Gentle Introduction to Deep Learning for Graphs

پردازش تطبیقی ​​داده‌های گراف یک موضوع تحقیقاتی طولانی مدت است که اخیراً به عنوان موضوع مورد علاقه اصلی در جامعه یادگیری عمیق ادغام شده است. افزایش ناگهانی در میزان و گستردگی تحقیقات مرتبط به قیمت سیستم‌بندی اندک دانش و توجه به ادبیات قبلی بوده است. این اثر به عنوان مقدمه‌ای آموزشی در زمینه یادگیری عمیق برای گراف‌ها طراحی شده است. از معرفی مداوم و پیشرونده مفاهیم اصلی و جنبه‌های معماری به جای نمایشی از جدیدترین ادبیات، که برای آن خواننده به بررسی‌های موجود ارجاع داده می‌شود، حمایت می‌کند. این مقاله با ارائه یک فرمول کلی از یادگیری بازنمایی گراف بر اساس یک رویکرد محلی و تکراری برای پردازش اطلاعات ساختاریافته، نگاهی از بالا به پایین به این مسئله دارد. این بلوک‌های اساسی را معرفی می‌کند که می‌توانند برای طراحی مدل‌های عصبی جدید و مؤثر برای گراف‌ها ترکیب شوند. شرح روش شناختی با بحث در مورد چالش‌ها و کاربردهای تحقیقاتی جالب در این زمینه تکمیل می‌شود.

https://arxiv.org/pdf/1912.12693

بررسی جامع شبکه‌های عصبی گراف

A Comprehensive Survey on Graph Neural Networks

یادگیری عمیق در سال‌های اخیر بسیاری از وظایف یادگیری ماشین، از دسته‌بندی تصویر و پردازش ویدیو گرفته تا تشخیص گفتار و درک زبان طبیعی را متحول کرده است. داده‌های این وظایف معمولاً در فضای اقلیدسی نشان داده می‌شوند. با این حال، تعداد فزاینده‌ای از برنامه‌ها وجود دارد که در آن داده‌ها از حوزه‌های غیر اقلیدسی تولید می‌شوند و به صورت گراف‌هایی با روابط پیچیده و وابستگی متقابل بین اشیاء نشان داده می‌شوند. پیچیدگی داده‌های گراف چالش‌های مهمی را بر الگوریتم‌های یادگیری ماشینی موجود تحمیل کرده است. اخیراً، مطالعات زیادی در مورد گسترش رویکردهای یادگیری عمیق برای داده‌های گراف پدید آمده است.

https://arxiv.org/pdf/1901.00596

در این بررسی، نویسندگان یک مرور کلی از شبکه‌های عصبی گراف (GNN) در زمینه‌های داده کاوی و یادگیری ماشین ارائه می‌کنند. آنها یک دسته‌بندی جدید را برای تقسیم شبکه‌های عصبی گراف پیشرفته به چهار دسته، یعنی شبکه‌های عصبی گراف تکراری، شبکه‌های عصبی گراف کانولوشن، رمزگذار خودکار گراف و شبکه‌های عصبی گراف مکانی-زمانی پیشنهاد می‌کنند. آنها بیشتر در مورد کاربردهای شبکه‌های عصبی گراف در حوزه‌های مختلف بحث می‌کنند و کدهای منبع باز، مجموعه داده‌های معیار و ارزیابی مدل شبکه‌های عصبی گراف را خلاصه می‌کنند. در نهایت، آنها جهت‌های پژوهشی بالقوه را در این زمینه به سرعت در حال رشد پیشنهاد می‌کنند.

یادگیری عمیق هندسی: فراتر از داده‌های اقلیدسی

Geometric deep learning: going beyond Euclidean data

بسیاری از زمینه‌های علمی داده‌ها را با ساختاری که فضایی غیر اقلیدسی است مطالعه می‌کنند. برخی از نمونه‌ها عبارتند از: شبکه‌های اجتماعی در علوم اجتماعی محاسباتی، شبکه‌های حسگر در ارتباطات، شبکه‌های عملکردی در تصویربرداری مغز، شبکه‌های نظارتی در ژنتیک، و سطوح مشبک در گرافیک کامپیوتری. در بسیاری از کاربردها، چنین داده‌های هندسی بزرگ و پیچیده هستند (در مورد شبکه‌های اجتماعی، در مقیاس میلیاردها)، و اهداف طبیعی برای تکنیک‌های یادگیری ماشین هستند. به طور خاص، نویسندگان این مقاله سعی کردند از شبکه‌های عصبی عمیق استفاده کنند، که اخیراً ثابت شده است که ابزار قدرتمندی برای طیف گسترده‌ای از مسائل از بینایی رایانه، پردازش زبان طبیعی و تجزیه و تحلیل صوتی هستند. با این حال، این ابزارها در داده‌هایی با ساختار اقلیدسی یا شبکه‌ای زیربنایی موفق بوده‌اند، و در مواردی که تغییر ناپذیری این ساختارها در شبکه‌هایی ساخته می‌شوند که برای مدل‌سازی آنها استفاده می‌شود. یادگیری عمیق هندسی یک اصطلاح چتر برای تکنیک‌های نوظهور است که در تلاش برای تعمیم مدل‌های عصبی عمیق (ساخت‌یافته) به حوزه‌های غیر اقلیدسی مانند گراف‌ها و منیفولدها هستند. هدف این مقاله مرور کلی مثال‌های مختلف از مسائل یادگیری عمیق هندسی و ارائه راه‌حل‌های موجود، مسائل کلیدی، کاربردها و جهت‌گیری‌های تحقیقاتی آینده در این زمینه نوپا است.

https://arxiv.org/pdf/1611.08097

زمینه نوظهور پردازش سیگنال بر روی گراف‌ها: گسترش تجزیه و تحلیل داده‌های با ابعاد بالا به شبکه‌ها و سایر دامنه‌های نامنظم

The Emerging Field of Signal Processing on Graphs: Extending High-Dimensional Data Analysis to Networks and Other Irregular Domains

در کاربردهایی مانند شبکه‌های اجتماعی، انرژی، حمل و نقل، حسگر و شبکه‌های عصبی، داده‌های با ابعاد بالا به طور طبیعی در رئوس گراف‌های وزن‌دار قرار دارند. حوزه نوظهور پردازش سیگنال روی گراف‌ها مفاهیم نظری گراف جبری و طیفی را با تحلیل هارمونیک محاسباتی ادغام می‌کند تا چنین سیگنال‌هایی را روی گراف‌ها پردازش کند.

https://arxiv.org/pdf/1211.0053

در این بررسی اجمالی آموزشی، نویسندگان چالش‌های اصلی منطقه را ترسیم می‌کنند، راه‌های مختلف برای تعریف دامنه‌های طیفی گراف، که مشابه حوزه فرکانس کلاسیک هستند، را مورد بحث قرار می‌دهند و اهمیت ترکیب ساختارهای نامنظم حوزه‌های داده‌های گراف را هنگام پردازش سیگنال‌ها روی گراف‌ها برجسته می‌کنند. سپس روش‌هایی را برای تعمیم عملیات‌های اساسی مانند فیلتر کردن، ترجمه، مدولاسیون، اتساع و کاهش نمونه‌گیری به تنظیمات گراف بررسی می‌کنند و تبدیل‌های محلی و چند مقیاسی را که برای استخراج مؤثر اطلاعات از داده‌های با ابعاد بالا در گراف‌ها پیشنهاد شده‌اند، بررسی می‌کنند. آنها با بحث کوتاهی در مورد مسائل باز و تمدیدهای احتمالی به پایان می‌رسند.

شبکه‌های کانولوشنال گراف فضایی-زمانی: چارچوب یادگیری عمیق برای پیش‌بینی ترافیک

Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting

پیش‌بینی دقیق ترافیک به موقع برای کنترل و راهنمایی ترافیک شهری بسیار مهم است. به دلیل غیرخطی بودن و پیچیدگی زیاد جریان ترافیک، روش‌های سنتی نمی‌توانند الزامات وظایف پیش‌بینی میان‌مدت و بلندمدت را برآورده کنند و اغلب از وابستگی‌های مکانی و زمانی غفلت می‌کنند.

https://www.ijcai.org/Proceedings/2018/0505.pdf

در این مقاله، نویسندگان یک چارچوب یادگیری عمیق جدید، شبکه‌های کانولوشنال گراف فضایی-زمانی (STGCN)، برای مقابله با مسئله پیش‌بینی سری‌های زمانی در حوزه ترافیک پیشنهاد می‌کنند. به جای استفاده از واحدهای کانولوشنال و تکراری منظم، آنها مسئله را بر روی گراف‌ها فرموله می‌کنند و مدل را با ساختارهای کانولوشن کامل می‌سازند، که سرعت آموزش بسیار سریع‌تر را با پارامترهای کمتر امکان‌پذیر می‌کند. آزمایش‌ها نشان می‌دهد که مدل STGCN ما به‌طور مؤثر همبستگی‌های مکانی-زمانی جامع را از طریق مدل‌سازی شبکه‌های ترافیکی چند مقیاسی به تصویر می‌کشد و به طور مداوم از خطوط پایه پیشرفته در مجموعه داده‌های مختلف ترافیک دنیای واقعی بهتر عمل می‌کند.

https://www.ijcai.org/Proceedings/2018/0505.pdf