مقدمه‌ای بر قوانین یادگیری در شبکه عصبی

قانون یادگیری یک روش یا یک منطق ریاضی است. این به یک شبکه عصبی کمک می‌کند تا از شرایط موجود درس گرفته و عملکرد خود را بهبود بخشد. این یک فرآیند تکراری است. در این آموزش یادگیری ماشینی قصد داریم به قوانین یادگیری در شبکه عصبی بپردازیم. قانون یادگیری هبی، قانون یادگیری پرسپترون، قانون یادگیری دلتا، قانون یادگیری همبستگی، قانون یادگیری Outstar چیست؟ تمام این قوانین یادگیری شبکه عصبی به همراه فرمول های ریاضی آنها در این آموزش به تفصیل آمده است.

قوانین یادگیری در شبکه عصبی چیست؟

قانون یادگیری یا فرآیند یادگیری یک روش یا یک منطق ریاضی است. عملکرد شبکه عصبی مصنوعی را بهبود می‌بخشد و این قانون را در شبکه اعمال می‌کند. بنابراین قوانین یادگیری، وزن‌ها و سطوح بایاس یک شبکه را زمانی که یک شبکه در یک محیط داده خاص شبیه‌سازی می‌کند، به روز می‌کند.

اعمال قانون یادگیری یک فرآیند تکراری است. این به یک شبکه عصبی کمک می‌کند تا از شرایط موجود درس گرفته و عملکرد خود را بهبود بخشد.

در مورد قوانین، آنها برای یادگیری در شبکه‌های عصبی اساسی هستند زیرا کاربرد آنها دستگاه‌ها را قادر می‌سازد تا آنها را تنظیم کرده و در شرایط بهتری قرار دهند. با این حال، هر قانون طعم متفاوتی را برای یادگیری به ارمغان می‌آورد که متناسب با نوع داده‌های درگیر و مشکل موجود است. به عنوان مثال، یادگیری هبی اغلب در موقعیت‌های یادگیری بدون نظارت برای مشاهده روابط بین ورودی‌ها استفاده می‌شود، در حالی که قوانین Perceptron و Delta عمدتاً در آموزش نظارت‌شده برای حذف خطاهای پیش‌بینی اعمال می‌شوند. این دانش می‌تواند در شناسایی الگوریتم‌هایی که در شرایط خاص استفاده شود مفید باشد.

اجازه دهید قوانین یادگیری مختلف را در شبکه عصبی ببینیم:

·         قانون یادگیری هبی - نحوه تغییر وزن گره های یک شبکه را مشخص می کند.

·         قانون یادگیری پرسپترون - شبکه یادگیری خود را با اختصاص یک مقدار تصادفی به هر وزن آغاز می کند.

·         قانون یادگیری دلتا - تغییر وزن همگام گره برابر است با ضرب خطا و ورودی.

·         قانون یادگیری همبستگی - قانون همبستگی یادگیری تحت نظارت است.

·         قانون یادگیری خارج از ستاره – زمانی می‌توانیم از آن استفاده کنیم که فرض کنیم گره‌ها یا نورون‌های یک شبکه در یک لایه چیده شده‌اند.

1. قانون یادگیری هبی

قانون هبیان اولین قانون یادگیری بود. در سال 1949 دونالد هب آن را به عنوان الگوریتم یادگیری شبکه عصبی بدون نظارت توسعه داد. ما می‌توانیم از آن برای شناسایی چگونگی بهبود وزن گره‌های یک شبکه استفاده کنیم.

قانون یادگیری هب فرض می‌کند که - اگر دو نورون همسایه همزمان فعال و غیرفعال شوند. سپس وزن اتصال این نورون‌ها باید افزایش یابد. برای نورون‌هایی که در فاز مخالف عمل می‌کنند، وزن بین آنها باید کاهش یابد. اگر هیچ ارتباط سیگنالی وجود نداشته باشد، وزن نباید تغییر کند.

وقتی ورودیٰهای هر دو گره مثبت یا منفی باشد، وزن مثبت قوی بین گرهٰها وجود دارد. اگر ورودی یک گره مثبت و برای دیگری منفی باشد، وزن منفی قوی بین گره‌ها وجود دارد.

در ابتدا، مقادیر همه وزن‌ها روی صفر تنظیم می‌شوند. این قانون یادگیری را می‌توان برای هر دو عملکرد فعال‌سازی نرم و سخت استفاده کرد. از آنجایی که از پاسخ‌های مورد نظر نورون‌ها در فرآیند یادگیری استفاده نمی‌شود، این قانون یادگیری بدون نظارت است. مقادیر مطلق وزن‌ها معمولاً متناسب با زمان یادگیری است که نامطلوب است.

فرمول ریاضی قانون یادگیری هب در شبکه عصبی مصنوعی.

قانون یادگیری هبی فرمول را به شرح زیر توصیف می کند:

2. قانون یادگیری پرسپترون

همانطور که می‌دانید، هر اتصال در یک شبکه عصبی دارای یک وزن مرتبط است که در روند یادگیری تغییر می‌کند. طبق آن، نمونه‌ای از یادگیری نظارت شده، شبکه یادگیری خود را با اختصاص یک مقدار تصادفی به هر وزن آغاز می‌کند.

مقدار خروجی را بر اساس مجموعه‌ای از رکوردها محاسبه کنید که می‌توانیم مقدار خروجی مورد انتظار را بدانیم. این نمونه یادگیری است که کل تعریف را نشان می‌دهد. در نتیجه به آن نمونه یادگیری می‌گویند.

سپس شبکه مقدار خروجی محاسبه شده را با مقدار مورد انتظار مقایسه می‌کند. سپس یک تابع خطا ∈ را محاسبه می‌کند، که می‌تواند مجموع مربعات خطاهای رخ داده برای هر فرد در نمونه یادگیری باشد.

به صورت زیر محاسبه می شود:

فرمول ریاضی قانون یادگیری پرسپترون در شبکه عصبی مصنوعی.

جمع‌بندی اول را روی افراد مجموعه یادگیری و جمع دوم را روی واحدهای خروجی انجام دهید. Eij و Oij مقادیر مورد انتظار و به دست آمده از واحد j برای فرد i هستند.

سپس شبکه وزن واحدهای مختلف را تنظیم می‌کند و هر بار بررسی می‌کند که آیا عملکرد خطا افزایش یافته یا کاهش یافته است. همانطور که در یک رگرسیون معمولی، این مسئله حل مشکل حداقل مربعات است.

از آنجایی که تعیین وزن گره‌ها بر اساس کاربران، نمونه‌ای از یادگیری تحت نظارت است.

3. قانون یادگیری دلتا

قانون دلتا که توسط Widrow و Hoff توسعه داده شده است، یکی از رایج‌ترین قوانین یادگیری است. بستگی به یادگیری تحت نظارت دارد. این قانون بیان می‌کند که تغییر در وزن همگام یک گره برابر با ضرب خطا و ورودی است.

در شکل ریاضی قانون دلتا به شرح زیر است:

فرمول ریاضی قواعد یادگیری دلتا در شبکه عصبی مصنوعی.

برای یک بردار ورودی داده شده، مقایسه بردار خروجی پاسخ صحیح است. اگر تفاوت صفر باشد، هیچ یادگیری صورت نمی‌گیرد. در غیر این صورت، وزن خود را برای کاهش این اختلاف تنظیم می‌کند. تغییر وزن از ui به uj عبارت است از: dwij = r* ai * ej.

در جایی که r نرخ یادگیری است، ai نشان دهنده فعال شدن ui و ej تفاوت بین خروجی مورد انتظار و خروجی واقعی uj است. اگر مجموعه الگوهای ورودی یک مجموعه مستقل را تشکیل دهد، با استفاده از قانون دلتا، ارتباط دلخواه را یاد بگیرید.

دیده شده است که برای شبکه‌هایی با توابع فعال‌سازی خطی و بدون واحدهای پنهان. مربع خطا در مقابل گراف وزن یک سهمی در فضای n است. از آنجایی که ثابت تناسب منفی است، گراف چنین تابعی به سمت بالا مقعر است و کمترین مقدار را دارد. راس این پارابولوئید نشان دهنده نقطه‌ای است که خطا را کاهش می‌دهد.

بردار وزن مربوط به این نقطه بردار وزن ایده آل است.

می‌توانیم از قانون یادگیری دلتا هم با واحد خروجی واحد و هم با چندین واحد خروجی استفاده کنیم.

هنگام اعمال قانون دلتا فرض کنید که خطا را می‌توان مستقیماً اندازه‌گیری کرد.

هدف از اعمال قانون دلتا کاهش اختلاف بین خروجی واقعی و مورد انتظار است که خطا است.

4. قانون یادگیری همبستگی

قانون یادگیری همبستگی مبتنی بر اصل مشابه با قانون یادگیری هبی است. فرض می‌کند که وزن بین نورون‌های پاسخ‌دهنده باید مثبت‌تر باشد و وزن‌های بین نورون‌های با واکنش مخالف باید منفی‌تر باشد.

برخلاف قاعده هبی، قانون همبستگی یادگیری تحت نظارت است. به جای واقعی

پاسخ، oj، پاسخ مورد نظر، dj، برای محاسبه تغییر وزن استفاده می کند.

در فرم ریاضی، قانون یادگیری همبستگی به شرح زیر است:

فرمول ریاضی قانون یادگیری همبستگی در شبکه عصبی مصنوعی.

جایی که dj مقدار مطلوب سیگنال خروجی است. این الگوریتم آموزشی معمولاً با مقدار دهی اولیه وزن‌ها به صفر شروع می‌شود.

از زمان تعیین وزن مورد نظر توسط کاربران، قانون یادگیری همبستگی نمونه‌ای از یادگیری تحت نظارت است.

5. قانون یادگیری خارج از ستاره

زمانی که فرض می‌کنیم گره‌ها یا نورون‌های یک شبکه در یک لایه چیده شده‌اند، از قانون یادگیری بیرون ستاره استفاده می‌کنیم. در اینجا وزن‌های متصل به یک گره خاص باید با خروجی‌های مورد نظر برای نورون‌های متصل از طریق آن وزن‌ها برابر باشد. قانون شروع خروج پاسخ t مورد نظر را برای لایه n گره ایجاد می‌کند.

این نوع یادگیری را برای همه گره‌ها در یک لایه خاص اعمال کنید. به روز رسانی وزن برای گره‌ها مانند شبکه‌های عصبی Kohonen است.

در شکل ریاضی، یادگیری ستاره‌ای را به صورت زیر بیان کنید:

فرمول ریاضی قانون یادگیری بیرون ستاره در شبکه عصبی مصنوعی.

این یک روش آموزشی تحت نظارت است زیرا خروجی‌های مورد نظر باید شناخته شوند.

نتیجه‌گیری

در خاتمه قوانین یادگیری در شبکه عصبی می‌توان گفت که امیدوارکننده‌ترین ویژگی شبکه عصبی مصنوعی توانایی یادگیری آن است. فرآیند یادگیری مغز ساختار عصبی آن را تغییر می‌دهد. افزایش یا کاهش قدرت اتصالات سیناپسی آن بسته به فعالیت آنها. اطلاعات مرتبط‌تر، ارتباط سیناپسی قوی‌تری دارند. از این رو، چندین الگوریتم برای آموزش شبکه‌های عصبی مصنوعی با مزایا و معایب خاص خود وجود دارد.