اساس ذهن برای LLM

از نظر مفهومی، ذهن انسان بیش از دو مرحله اصلی دارد: سیگنال‌های الکتریکی [یون‌ها]، سیگنال‌های شیمیایی [مولکول‌ها] و فاز سوم که در تعامل دو فاز دیگر رخ می‌دهد. فرض بر این است که این فاز سوم، به عنوان یک ترکیب برجسته، که فقط در مجموعه سیگنال‌ها امکان‌پذیر است، حالت کلاسیک جداگانه‌ای از ماده است.

مدل‌های زبان بزرگ (LLMs) بردار هستند، یا به سادگی محاسبات یا اعداد را اجرا می‌کنند تا با یک واحد اساسی داده، بیت، 0 یا 1 ترکیب شوند. دیجیتال چهار حالت دارد: متن، تصویر، صدا و ویدیو. همه آنها به عنوان اعداد پردازش می‌شوند و یکنواختی به آنها می‌دهد که باعث می‌شود در حافظه برتر باشند و عملکرد بالاتری در جنبه‌های خاص داشته باشند. هوش مصنوعی (AI) از توابع ریاضی برای درجه‌بندی داده‌ها استفاده می‌کند و به آن امکان می‌دهد متون، تصاویر، صداها و ویدیوهای جدید را خارج از ورودی‌های اصلی خود استخراج کند.

هوش‌مصنوعی فقط یک فاز دارد - اعداد، اما چهار حالت. ذهن انسان چندین حالت را پردازش می‌کند - بویایی، بینایی، چشایی، لامسه، حواس درونی، حرکت، صدا و چندین تغییر - حداقل با سه مرحله. این مراحل که به تنهایی وجود دارند، تغییر می‌کنند و در حال تعامل هستند، امکان پویایی پیشرفته را فراهم می‌کنند که شامل کنترل، استدلال، پردازش بهتر با انرژی محدود است، برخلاف هوش مصنوعی که برای پردازش کمتر از ذهن - با توجه به حالت‌ها، به محاسبات زیادی نیاز دارد.

هوش‌مصنوعی تنها غیر ارگانیسمی است که می‌تواند با برخی از توانایی‌های انسان مطابقت داشته باشد. همچنین در چندین زمینه از موجودات دیگر فراتر می‌رود. با این حال، هوش‌مصنوعی خارج از الگوهای تطبیق، پیش‌بینی‌ها، سرعت و چند ویژگی دیگر کمبود دارد.

سه مرحله ذهن انسان با هم کار می‌کنند و تخصص‌های خود را دارند. فرض بر این است که ذهن انسان مجموعه‌ای از تمام سیگنال‌های الکتریکی و شیمیایی، با تعاملات و ویژگی‌های آن‌ها در مجموعه‌ها، در خوشه‌هایی از نورون‌ها، در سراسر سیستم عصبی مرکزی و محیطی است. تعامل آنها نحوه مکانیزه کردن عملکردها است. ویژگی های آنها نحوه درجه بندی توابع است. عملکردها منجر به حافظه، احساسات، عواطف و حواس درونی می‌شوند. ویژگی‌ها عبارتند از توجه، آگاهی، اراده یا اراده آزاد، خود یا ذهنیت، شکاف‌ها، توالی‌ها، مجموعه‌های ضخیم[1]، مجموعه‌های نازک[2] و غیره.

این بدان معنی است که ذهن تمام حالت‌های حسی را برای عملکردها و ویژگی‌ها پردازش می‌کند. نورون‌ها و سیناپس‌های آنها میزبان مراحل ذهن هستند، اما نورون‌ها ذهن انسان نیستند. نورون‌ها توسط مراحل ذهن (شامل گلوتامات یا GABA) برانگیخته یا مهار می‌شوند، هنوز نورون‌ها عوامل مستقیمی نیستند که ذهن برای آنها کار می‌کند.

هوش‌مصنوعی نورون‌ها را مدل می‌کند. با این حال، برای بهبود آن، به ویژه برای ایمنی و همسویی با ارزش‌های انسانی، بررسی نحوه درجه‌بندی هوش مصنوعی، مانند برخی از روش‌هایی که ذهن کار می‌کند، مهم خواهد بود.

از نظر مفهومی، در ذهن انسان، سیگنال‌های الکتریکی در مجموعه‌ها، دو وظیفه مرکزی دارند، رله و شروع تعامل با سیگنال‌های شیمیایی. این فعل و انفعالات سیگنال‌های الکتریکی هستند که به سیگنال‌های شیمیایی برخورد می‌کنند، به طور خلاصه با هم ترکیب می‌شوند و منجر به ترکیب می‌شوند - برای به دست آوردن عملکردهای موجود در سیگنال‌های شیمیایی. این ترکیب یا فاز چندین نقش دارد: امکان تبادل آسان‌تر بین چندین عملکرد و انواع ویژگی‌ها را فراهم می‌کند، به عملکردها اجازه می‌دهد دقیق‌تر باشند، به نوروپلاستیسیته یا یادگیری تطبیقی ​​کمک می‌کند، همچنین تسلط هر یک از سیگنال‌ها، برای کاهش بیش از حد کشش، در برخی موارد، از نظر مفهومی را کاهش می‌دهد.

سیگنال‌های شیمیایی در مجموعه‌ها سهمیه‌هایی را تشکیل می‌دهند که از تشکیل توابع تشکیل شده است. به سادگی، سیگنال‌های شیمیایی از نحوه انجام عملکردها منشا می‌گیرند. آنها همچنین اکثر عملکردها، با تغییر در نحوه تامین جیره را واجد شرایط می‌کنند. آنها عمدتا توجه، آگاهی، ذهنیت و قصد را مکانیزه می‌کنند. سیگنال‌های الکتریکی خلاصه‌ای از ویژگی‌ها و عملکردها را برای رله در میان مجموعه‌ها حمل می‌کنند.

به سادگی، این نظریه وجود دارد که ذهن انسان با سیگنال‌های الکتریکی کار می‌کند، به سیگنال‌های شیمیایی ضربه می‌زند تا آنچه را که دارند [پیکربندی عملکردها و ویژگی‌ها] ارائه دهد و به آنچه در دسترس است [عملکردها و سپس شکل دادن به ویژگی‌ها] دسترسی پیدا کند تا به تجربیات منجر شود. در نمونه برخورد مجموعه‌ای از سیگنال‌های الکتریکی و شیمیایی، فاز یا مخلوط بین هر دو است. این فاز فقط در مجموعه‌ای از سیگنال‌ها قابل دستیابی است، جایی که تعامل، نه تحریک فردی انتقال‌دهنده‌های عصبی توسط یون‌ها وجود دارد. این ترکیب یا فاز در سیناپس‌های الکتریکی موجود نیست.

علم مغز اصطلاحی به نام رسانایی نمکی دارد، به این معنا که در آکسون‌های میلین‌دار، سیگنال‌های الکتریکی از روی گره‌های رانویر می‌پرند تا سریعتر حرکت کنند. فرض بر این است که در مجموعه‌ای از سیگنال‌ها، برخی از تکانه‌های الکتریکی از هم جدا می‌شوند، و برخی جلوتر از دیگران می‌روند تا با تکانه‌های شیمیایی تعامل کنند، مانند قبل، تا ادراک اولیه از چیزها را ارائه دهند. اگر با تجربه مطابقت داشته باشد، توزیع‌ها ادامه می‌یابد. در غیر این صورت، سیگنال‌های دریافتی در جهت درست حرکت می‌کنند و سیگنال اولیه را تصحیح می‌کنند. این توضیح می‌دهد که کدگذاری پیش‌بینی، پردازش و خطای پیشذبینی نامیده می‌شود.

ذهن، مغز یا نورون‌ها پیش‌بینی نمی‌کنند. سیگنال‌های الکتریکی به‌جای آن، از نظر مفهومی تقسیم می‌شوند، که منجر به ادراک تقریباً دقیق با گزینه تصحیح، اگر اشتباه باشد، می‌شود. این با LLMها متفاوت است، که توکن بعدی را پیش‌بینی یا تولید می‌کند، با مقدار زیادی درست و مقداری اشتباه، بدون تصحیح - جایی که اشتباه است.

هوش مصنوعی

مقاله‌ای در arXiv وجود دارد، Scalable MatMul-free Language Modeling[3]، که در آن نویسندگان نوشتند: «ضریب ماتریس (MatMul) معمولاً بر هزینه‌های محاسباتی کلی مدل‌های زبان بزرگ (LLM) غالب است. این هزینه تنها زمانی افزایش می‌یابد که LLMها به ابعاد بزرگتر تعبیه شده و طول زمینه افزایش می‌یابند. در این کار، ما نشان می‌دهیم که عملیات MatMul را می‌توان به طور کامل از LLMها حذف کرد و در عین حال عملکرد قوی را در مقیاس‌های میلیارد پارامتری حفظ کرد. آزمایش‌های ما نشان می‌دهد که مدل‌های بدون MatMul پیشنهادی ما به عملکردی همتراز با ترانسفورمرهای پیشرفته دست می‌یابند که به حافظه بسیار بیشتری در طول استنتاج در مقیاسی تا حداقل 2.7B پارامتر نیاز دارند. ما قوانین مقیاس‌بندی را بررسی می‌کنیم و متوجه می‌شویم که شکاف عملکرد بین مدل‌های بدون MatMul و ترانسفورمرهای دقیق با افزایش اندازه مدل کاهش می‌یابد. ما همچنین یک پیاده‌سازی کارآمد از نظر GPU از این مدل ارائه می‌کنیم که استفاده از حافظه را تا 61٪ در یک خط پایه بهینه‌نشده در طول آموزش کاهش می‌دهد. با استفاده از یک هسته بهینه شده در طول استنتاج، مصرف حافظه مدل ما می تواند بیش از 10 برابر در مقایسه با مدل های بهینه نشده کاهش یابد.

مقاله‌ای اخیر در PNAS وجود دارد، The neuron as a direct data-driven controller[4] ، که در آن نویسندگان نوشتند: «برای مدل‌سازی نورون‌ها به‌عنوان کنترل‌کننده‌های بیولوژیکی که به طور ضمنی دینامیک حلقه را شناسایی می‌کنند، حالات نهفته را استنتاج می‌کنند و کنترل را بهینه می‌کنند، ما از چارچوب کنترل مبتنی بر داده مستقیم (DD-DC) معاصر استفاده می‌کنیم. مدل نورون DD-DC ما پدیده‌های فیزیولوژیک عصبی مختلف را توضیح می‌دهد: تغییر از تقویت به افسردگی در انعطاف‌پذیری وابسته به زمان با عدم تقارن آن، مدت زمان و ماهیت تطبیقی ​​فیلترهای عصبی فید فوروارد و بازخورد، عدم دقت در تولید سنبله تحت تحریک مداوم، و تنوع عملیاتی و نویز مشخص در مغز. مدل ما انحراف قابل توجهی را از نورون مک‌کالوخ-پیتس-رزنبلات سنتی، پیش‌خور و پاسخ‌دهنده فوری ارائه می‌دهد و یک واحد بنیادی مدرن و بیولوژیکی برای ساخت شبکه‌های عصبی ارائه می‌دهد.

تراز

پیشرفت در هوش مصنوعی مولد، برای بهره‌وری انرژی، در برابر توهمات، برای ایمنی و غیره، ممکن است مسیرهای جدیدی را با استفاده از یک مدل علمی پایه ذهن انسان پیدا کند، زیرا نورون‌ها بخشی از بدن هستند اما با ذهن متفاوت هستند. همچنین، در حالی که همبستگی با نحوه عملکرد نورون‌ها باعث شکل‌گیری هوش مصنوعی شد، اما ممکن است هنوز به برخی از هسته ذهن انسان نزدیک‌تر نشود. هوش مصنوعی عواطف، احساسات یا حواس درونی ندارد، اما از حافظه بهینه در چندین برنامه استفاده می‌کند، اما قصد ثابتی ندارد.

چگونه LLMها می‌توانند نه تنها نشانه احتمالی بعدی را پیش بینی کنند - مطابق با زبان، بلکه می توانند دقیق ترین، مطابق با واقعیت و امکان بررسی متوالی را پیش‌بینی کنند؟ چگونه LLMها می‌توانند یک هدف ایمن ایجاد کنند، جایی که می‌توانند از خروج خطرات فعلی مانند دیپ فیک و اطلاعات نادرست خودداری کنند، حتی در مواردی که ممکن است گاردریل‌ها اعمال نشود، و همچنین از جیلبریک و حملات تزریق سریع امتناع کنند؟ این چگونه می‌تواند به سمت ایمنی برای ابر هوش مصنوعی یا AGI حرکت کند؟ چگونه LLMها می‌توانند انرژی کمتری مصرف کنند؟

تحقیق در علم بنیادی ذهن، رویکردهای ریاضی بهتری را به سمت حل برخی از مسائل LLM از جمله ایمنی، بازتاب منبع مستقیم، ذهن انسان هدایت می‌کند.

---

[1] thick sets

[2] thin sets

[3] https://arxiv.org/abs/2406.02528

[4] https://www.pnas.org/doi/10.1073/pnas.2311893121