یادگیری ماشین گراف ۲۰۲۰ تا ۲۰۲۵

سال 202۴ به پایان رسد و زمان آن فرا رسیده است که بنشینیم و دستاوردهای بدست آمده در Graph ML و همچنین فرضیه‌سازی در مورد پیشرفت‌های احتمالی در سال 202۵ را بررسی کنیم.

زمینه یادگیری ماشین گراف (Graph ML) به سرعت از سال 2020 تا 2025 تکامل یافته است که با پیشرفت در مبانی نظری، ادغام با مدل‌های زبان بزرگ (LLM) و افزایش گراف‌های دانش هدایت می‌شود. در زیر ترکیبی از روندهای کلیدی، پیشرفت‌ها و جهت‌گیری‌های نوظهور آورده شده است:

(1) روندها و نقاط عطف کلیدی

* 2020-2022: مبانی نظری و کاربردهای اولیه

پیشرفت نظری: - تجزیه و تحلیل رسمی بیانگر GNN (به عنوان مثال، معادل‌سازی با آزمون‌های ویزفایلر-لمن، محدودیت‌های بیش از حد له کردن[1]) [5] [6]. - پیشرفت در یادگیری بازنمایی گراف (به عنوان مثال، GraphSAGE، GAT) و روش‌های مبتنی بر زیرگراف [1][6].

کاربردها: کشف دارو، تجزیه و تحلیل شبکه‌های اجتماعی و سیستم‌های توصیه‌گر [1][3].

گراف‌های دانش: ظهور پایگاه‌های دانش ساخت یافته (به عنوان مثال، DRKG، Hetionet) برای استفاده مجدد از دارو و استدلال معنایی [1][3].

* 2023-2024: ادغام با LLMها و معماری‌های ترکیبی

- گراف ML بهبود یافته با LLM: - افزایش ویژگی: LLM ها ویژگی های متنی غنی را برای گره ها/لبه ها ایجاد می کنند و وظایفی مانند طبقه بندی گره ها و پیش بینی پیوندها را بهبود می بخشند [2][4]. - یادگیری Zero/Few-shot: LLMها با استفاده از دانش معنایی (مانند GraphGPT، GLEM) اتکا به داده‌های برچسب‌گذاری شده را کاهش می‌دهند [2][4].

- LLMهای تقویت شده با گراف: گراف‌های دانش، LLMها را در داده‌های واقعی ثابت می‌کند، توهمات را کاهش می‌دهد و استدلال را بهبود می‌بخشد (به عنوان مثال، تولید افزوده شده با بازیابی) [2][4].

- ترانسفورمرهای گراف: ترانسفورمرهای خالص (به عنوان مثال، TokenGT) با GNNها در بیان و مقیاس‌پذیری رقیب هستند و پارادایم‌های سنتی ارسال پیام را به چالش می‌کشند [6].

* 2025: پذیرش و استانداردسازی جریان اصلی

- گراف‌های دانش خودکار: ابزارهایی برای ساخت خودکار گراف از منابع داده متنوع (به عنوان مثال، EHR، شبکه‌های اینترنت اشیا) به روز رسانی بلادرنگ و یکپارچه‌سازی بین صنعتی را امکان‌پذیر می‌کند [3].

- چارچوب‌های یکپارچه: مدل‌های پایه گراف (GFM) LLMها، GNNها و ترانسفورمرها را برای کارهایی مانند طراحی مولکولی و تشخیص تقلب ترکیب می‌کنند [2][3].

(2) پیشرفت‌های نظری

* بیانگری[2]:

- ثابت شده است که ترانسفورمرهای گراف از نظر بیانی با 2-IGN مطابقت دارند یا از آنها فراتر می‌روند و از GNNهای سنتی پیشی می‌گیرند [6].

- GNNهای زیرگراف و روش‌های مرتبه بالاتر محدودیت‌ها را در تشخیص ساختارهای پیچیده گراف برطرف می‌کنند [5].

* تعمیم: مطالعات روی دینامیک تعمیم GNN و آموزش SGD نقش توپولوژی گراف را در استحکام مدل برجسته می‌کند [5].

* مقیاس‌پذیری: توجه پراکنده و معماری‌های ترکیبی (به عنوان مثال، GPS++) آموزش کارآمد را بر روی گراف‌های میلیاردی امکان‌پذیر می‌کند [5][6].

(3) ادغام با LLM

LLM-as-Enhancer: ویژگی‌های گره/لبه را ایجاد می‌کند، تعبیه‌ها را در میان مدالیته‌ها تراز می‌کند، و داده‌های گراف را از طریق تولید لبه مصنوعی تقویت می‌کند [2][4].

· LLM-as-Predictor: به طور مستقیم خواص گراف (به عنوان مثال، سمیت مولکولی) را با استفاده از مهندسی سریع و یادگیری درون متنی پیش‌بینی می‌کند [2].

· تقویت متقابل:

* گراف‌ها LLMها را بهبود می‌بخشند: گراف‌های دانش زمینه ساختار یافته را برای تنظیم دقیق LLM فراهم می‌کنند (به عنوان مثال، کاهش توهمات) [3][4].

* LLMها گراف‌ها را بهبود می‌بخشند: تجزیه معنایی متن بدون ساختار ساختار گراف را غنی می‌کند (به عنوان مثال، استخراج موجودیت‌ها از یادداشت‌های بالینی) [2][3].

(4) برنامه‌های کاربردی

(1) مراقبت‌های بهداشتی: نمودارهای دانش علائم، بیماری‌ها و درمان‌های هوش مصنوعی تشخیصی را پیوند می‌دهند [3][4].

(2) کشف دارو: هیبریدهای GNN-LLM خواص مولکولی را پیش‌بینی می‌کنند و ترکیبات جدیدی را طراحی می‌کنند (به عنوان مثال، DeepMind's AlphaFold-GNN) [2][6].

(3) تشخیص تقلب: GNNهای موقت با ویژگی‌های تولید شده توسط LLM الگوهای تراکنش را در شبکه‌های مالی شناسایی می‌کنند [3].

(4) رباتیک: مدل‌های گراف ML وظایف را با استدلال بر روی گراف‌های محیطی برنامه‌ریزی می‌کنند [2].

(5) چالش‌ها و جهت‌گیری‌های آینده

* یکپارچه‌سازی داده‌ها: هم ترازی گراف ناهمگن به دلیل تنوع طرحواره چالش برانگیز است [3][4].

* قابلیت توضیح: نیاز به نقشه‌های برجسته و توضیحات خلاف واقع در سیستم‌های ترکیبی GNN-LLM [5].

* یادگیری متقابل: گسترش گراف ML به داده‌های مولکولی ویدئویی، صوتی و سه بعدی [3][5].

* مدل‌های پایه گراف (GFM): توسعه مدل‌های یکپارچه برای وظایف گراف Zero-shot (به عنوان مثال، معیارهای OGB-LSC) [2][4].

نتیجه‌گیری

از سال 2020 تا 2025، Graph ML از اکتشاف نظری به استقرار صنعتی منتقل شد، که توسط هم افزایی با LLMها و گراف‌های دانش تقویت شد. در حالی که معماری‌هایی مانند ترانسفورمرهای گراف و GNN-LLMهای ترکیبی بر وضعیت تسلط دارند، چالش‌ها در مقیاس‌پذیری، توضیح‌پذیری و ادغام چندوجهی همچنان وجود دارد. مرز بعدی در مدل‌های بنیاد گراف نهفته است که استدلال ساختاری و معنایی را برای تصمیم‌گیری در دنیای واقعی یکسان می‌کند.

منابع

[1] https://towardsdatascience.com/top-trends-of-graph-machine-learning-in-2020-1194175351a3

[2] https://www.marktechpost.com/2024/04/26/integrating-large-language-models-with-graph-machine-learning-a-comprehensive-review/

[3] https://www.pingcap.com/article/machine-learning-knowledge-graphs-2025/

[4] https://arxiv.org/abs/2404.14928

[5] https://towardsdatascience.com/graph-geometric-ml-in-2024-where-we-are-and-whats-next-part-i-theory-architectures-3af5d38376e1

[6] https://github.com/azminewasi/Awesome-Graph-Research-ICML2024

[7] https://neo4j.com/blog/future-ai-machine-learning-knowledge-graphs/

[8] https://arxiv.org/html/2309.10979

[9] https://github.com/azminewasi/Awesome-Graph-Research-ICLR2024

[10] https://www.techtarget.com/searchenterpriseai/tip/9-top-AI-and-machine-learning-trends

[11] https://research.google/blog/advancements-in-machine-learning-for-machine-learning/