حافظه توزیع‌شده پراکنده (SDM) به عنوان یک یادگیرنده مداوم

حافظه توزیع‌شده پراکنده (SDM) یک مدل ریاضی و محاسباتی از حافظه بلندمدت انسان است که توسط پنتی کانروا در سال ۱۹۸۸ معرفی شد [2][3]. این مدل اطلاعات را با استفاده از بردارهای دودویی با ابعاد بالا ذخیره و بازیابی می‌کند و امکان فراخوانی قوی حتی از ورودی‌های نویزی یا جزئی را فراهم می‌کند. SDM با موارد زیر مشخص می‌شود:

- ذخیره‌سازی توزیع‌شده: هر مورد حافظه بر اساس شباهت (اندازه‌گیری شده توسط فاصله همینگ) در چندین مکان ذخیره می‌شود و تحمل خطا و تعمیم را ممکن می‌سازد.

- حساسیت به شباهت: بازیابی نه تنها با آدرس‌های دقیق، بلکه با ورودی‌های نزدیک به الگوهای ذخیره‌شده نیز کار می‌کند و از فراخوانی انجمنی پشتیبانی می‌کند.

- نمایش با ابعاد بالا: از بردارهای دودویی بسیار طولانی (مثلاً ۲۵۶ یا ۱۰۰۰ بیت) استفاده می‌کند و الگوهای پیچیده را به روشی مشابه رمزگذاری حافظه انسان ثبت می‌کند.

SDM به عنوان یک یادگیرنده مداوم

کار اخیر (بریکن و همکاران، 2023) نشان داده است که SDM، هنگامی که با مکانیسم‌های الهام گرفته از زیست‌شناسی ترکیب شود، می‌تواند به عنوان یک مدل یادگیری مداوم قوی عمل کند [4][5]. نکات کلیدی عبارتند از:

- بهبودهای الهام گرفته از زیست‌شناسی: گنجاندن اصول نوروبیولوژیکی مانند پراکندگی، فعال‌سازی top-k و کدگذاری توزیع‌شده، توانایی SDM را برای یادگیری متوالی بدون فراموشی فاجعه‌بار بهبود می‌بخشد.

- عدم نیاز به بازپخش حافظه: برخلاف بسیاری از روش‌های یادگیری مداوم که نیاز به تمرین یا بازپخش داده‌های گذشته دارند، معماری SDM ذاتاً از حفظ خاطرات قدیمی در حین ادغام ارگانیک اطلاعات جدید پشتیبانی می‌کند.

- مقاومت در برابر نویز و تغییرات وظیفه: ماهیت توزیع‌شده SDM به آن اجازه می‌دهد تا در بین وظایف تعمیم یابد و در برابر تداخل مقاومت کند، که برای سناریوهای یادگیری مادام‌العمر بسیار مهم است.

- ادغام با یادگیری عمیق: معماری‌های پرسپترون چند لایه اصلاح‌شده (MLP) که از اصول SDM الهام گرفته شده‌اند، به عملکرد یادگیری مداوم قوی دست می‌یابند، که نشان می‌دهد مفاهیم SDM می‌توانند شبکه‌های عصبی مدرن را بهبود بخشند.

چگونه SDM از یادگیری مداوم پشتیبانی می‌کند

- فعال‌سازی پراکنده: فقط زیرمجموعه کوچکی از مکان‌های حافظه برای هر ورودی فعال می‌شوند و همپوشانی و تداخل بین خاطرات را کاهش می‌دهند.

- انتخاب Top-K: انتخاب مرتبط‌ترین مکان‌های حافظه برای عملیات خواندن/نوشتن، یادگیری و بازیابی را متمرکز می‌کند و مکانیسم‌های شبیه به توجه را تقلید می‌کند.

- رمزگذاری توزیع‌شده: اطلاعات در بسیاری از نورون‌ها پخش می‌شود، بنابراین آسیب یا تغییرات جزئی کل خاطرات را پاک نمی‌کنند.

- یادآوری تداعی‌گر: SDM می‌تواند الگوهای ذخیره‌شده را از نشانه‌های نویزی یا ناقص بازسازی کند و بازیابی حافظه انعطاف‌پذیر را امکان‌پذیر سازد.

خلاصه

حافظه توزیع‌شده پراکنده، حافظه شبیه انسان را با ذخیره‌سازی و بازیابی توزیع‌شده و مبتنی بر شباهت مدل‌سازی می‌کند و آن را به طور طبیعی برای یادگیری مداوم مناسب می‌سازد. پیشرفت‌های اخیر نشان می‌دهد که ادغام اصول نوروبیولوژیکی در معماری‌های الهام‌گرفته از SDM منجر به یادگیری مداوم قوی و ارگانیک بدون نیاز به بازپخش حافظه صریح یا مرزهای وظیفه می‌شود. این امر SDM را به عنوان یک چارچوب امیدوارکننده که حافظه بیولوژیکی و سیستم‌های یادگیری مداوم مصنوعی را به هم متصل می‌کند، قرار می‌دهد.

منابع

- Kanerva, P. (1988). *Sparse Distributed Memory*. MIT Press[1][2][3][6].

- Bricken et al. (2023). *Sparse Distributed Memory is a Continual Learner*. ICLR 2023[4][5].

- Related work linking SDM and attention mechanisms in Transformers (NIPS 2021)[7].

Citations:

[1] https://mitpress.mit.edu/9780262514699/sparse-distributed-memory/

[2] https://en.wikipedia.org/wiki/Sparse_distributed_memory

[3] https://redwood.berkeley.edu/wp-content/uploads/2020/08/KanervaP_SDMrelated_models1993.pdf

[4] https://arxiv.org/abs/2303.11934

[5] https://openreview.net/forum?id=JknGeelZJpHP

[6] http://infolab.stanford.edu/pub/cstr/reports/csl/tr/89/400/CSL-TR-89-400.pdf

[7] https://proceedings.neurips.cc/paper/2021/file/8171ac2c5544a5cb54ac0f38bf477af4-Paper.pdf