BART: Denoising Sequence-to-Sequence Pre-training

BART (ترانسفورمر دو جهته و رگرسیون خودکار) یک چارچوب پیش تمرینی توالی به دنباله است که توسط Meta AI Research توسعه یافته است. این نرم افزار نقاط قوت رمزگذارهای دوطرفه (مانند BERT) و رمزگشاهای خودبازگشت (مانند GPT) را ترکیب می کند تا در کارهای مختلف از تولید متن تا درک مطلب، برتری یابد. در زیر یک نمای کلی ساختار یافته است:

 1. معماری

BART از یک چارچوب استاندارد رمزگذار رمزگذار مبتنی بر ترانسفورمر استفاده می‌کند:

- رمزگذار: متن ورودی را به صورت دو طرفه (مانند BERT) پردازش می‌کند تا زمینه را ضبط کند.

- رمزگشا: خروجی‌ها را به صورت خودکار (مانند GPT) توکن به توکن تولید می‌کند.

 

این ساختار ترکیبی به BART اجازه می‌دهد تا هم وظایف درک (به عنوان مثال، دسته‌بندی) و هم تولید (به عنوان مثال، خلاصه‌سازی) را به طور موثر انجام دهد.

تراز کردن مدل‌های زبان با دستورالعمل‌های خود ساخته

Self-Instruct یک چارچوب نیمه خودکار است که برای بهبود قابلیت‌های پیروی از دستورالعمل‌های مدل‌های زبان از پیش آموزش‌دیده (LMs) با استفاده از توانایی خود برای تولید داده‌های دستورالعمل مصنوعی طراحی شده است. این رویکرد اتکا به مجموعه داده‌های برچسب‌گذاری شده توسط انسان را به حداقل می‌رساند و تنظیم دستورالعمل را مقیاس‌پذیرتر و متنوع‌تر می‌کند. در زیر یک نمای کلی از روش، مشارکت و پیامدهای آن ارائه شده است.

 1. انگیزه

* چالش‌های مربوط به داده‌های دارای برچسب انسانی:

 - داده‌های دستورالعمل نوشته شده توسط انسان گران است، جمع‌آوری آنها زمان‌بر است و اغلب فاقد تنوع و خلاقیت است.

 - مدل‌های تنظیم‌شده با دستورالعمل‌های موجود مانند InstructGPT به شدت به داده‌های کاربر خصوصی و حاشیه‌نویسی‌های انسانی تکیه می‌کنند و دسترسی به تحقیقات گسترده‌تر را محدود می‌کنند.

 

شکل ۱: مروری بر سطح بالای خودآموز. این فرآیند با مجموعه کوچکی از وظایف به عنوان مجموعه وظایف شروع می‌شود. وظایف تصادفی از مجموعه وظایف نمونه‌برداری می‌شوند و برای تحریک یک LM خارج از قفسه برای تولید دستورالعمل‌های جدید و نمونه‌های مربوطه، به دنبال فیلتر کردن نسل‌های با کیفیت پایین یا مشابه استفاده می‌شوند و سپس به مخزن اولیه وظایف اضافه می‌شوند. داده‌های به دست آمده را می‌توان بعداً برای تنظیم دستورالعمل خود مدل زبان استفاده کرد تا دستورالعمل‌ها را بهتر دنبال کند. وظایف نشان داده شده در شکل توسط GPT3 تولید می‌شوند.

ترکیب چابکی فنی با حکمرانی مشارکتی و عمل‌گرایی اخلاقی در هوش‌مصنوعی

در واقع زمان بسیار مهمی برای شکل دادن به آینده اخلاق هوش‌مصنوعی است. همانطور که سیستم‌های هوش مصنوعی به طور فزاینده‌ای در زندگی ما ادغام می‌شوند، اطمینان از همسویی آنها با ارزش‌های انسانی و ارتقای رفاه اجتماعی بسیار مهم است. در اینجا برخی از ملاحظات کلیدی برای پیشرفت اخلاق هوش‌مصنوعی وجود دارد:

 1. چارچوب‌های اخلاقی و حکمرانی

- استانداردهای جهانی: ایجاد استانداردهای بین‌المللی برای اخلاق هوش‌مصنوعی می‌تواند به اطمینان از ثبات و پاسخگویی در مناطق مختلف کمک کند.

- چارچوب‌های نظارتی: دولت‌ها و سازمان‌ها باید مقرراتی را تدوین و اجرا کنند که شفافیت، انصاف و پاسخگویی را در توسعه و استقرار هوش‌مصنوعی در اولویت قرار دهد.

 2. مشارکت عمومی و آموزش

- آگاهی و سواد: آموزش عمومی در مورد اخلاق هوش‌مصنوعی و پیامدهای آن می‌تواند جامعه‌ای آگاه‌تر و فعال‌تر را پرورش دهد.

- مشارکت ذینفعان: مشارکت ذینفعان مختلف از جمله اخلاق گرایان، سیاست گذاران، فناوران و رهبران جامعه را تشویق کنید تا اطمینان حاصل شود که سیستم‌های هوش‌مصنوعی طیف وسیعی از دیدگاه ها را منعکس می‌کنند.

 3. نوآوری فناوری و مسئولیت

- توسعه مسئولیت‌پذیر هوش‌مصنوعی: توسعه دهندگان را تشویق کنید تا ملاحظات اخلاقی را از ابتدا در اولویت قرار دهند و اصولی مانند عدالت، حریم خصوصی و شفافیت را در طراحی هوش‌مصنوعی ادغام کنند.

- نظارت مستمر: به طور منظم سیستم‌های هوش‌مصنوعی را برای سوگیری‌های بالقوه یا مسائل اخلاقی ارزیابی کنید و مکانیسم‌هایی را برای پاسخگویی و اصلاح سریع اجرا کنید.

 4. پرداختن به سوگیری و انصاف

- تشخیص و کاهش سوگیری: ابزارهایی را توسعه دهید که می‌توانند سوگیری‌ها را در سیستم‌های هوش‌مصنوعی شناسایی و کاهش دهند و از نتایج عادلانه در بین جمعیت‌های مختلف اطمینان حاصل کنند.

- مجموعه داده‌های متنوع: از مجموعه داده‌های متنوع و معرف برای آموزش مدل‌های هوش‌مصنوعی استفاده کنید و خطر خروجی‌های مغرضانه را کاهش دهید.

 5. مسیرهای آینده

- 1. همکاری میان رشته‌ای: تقویت همکاری بین محققان هوش‌مصنوعی، اخلاق شناسان، سیاست‌گذاران و دانشمندان علوم اجتماعی برای رسیدگی به چالش‌های اخلاقی پیچیده.

- 2. حاکمیت تطبیقی: ساختارهای حاکمیتی را توسعه دهید که بتواند به سرعت با پیشرفت‌های تکنولوژیکی و تغییرات اجتماعی سازگار شود.

- 3. سواد هوش‌مصنوعی اخلاقی: ارتقای آموزش و آگاهی در مورد اخلاق هوش‌مصنوعی در میان توسعه دهندگان، سیاست گذاران و عموم مردم.

نتیجه‌گیری

شکل دادن به آینده اخلاق هوش‌مصنوعی مستلزم رویکردی چند وجهی است که نوآوری فناورانه را با مسئولیت اخلاقی و مشارکت اجتماعی ترکیب می‌کند. با اولویت دادن به شفافیت، انصاف و مسئولیت‌پذیری، می‌توانیم اطمینان حاصل کنیم که سیستم‌های هوش‌مصنوعی زندگی انسان را بهبود می‌بخشند و در عین حال خطرات را به حداقل می‌رسانند. مشارکت شما در این گفتگو برای کمک به ایجاد آینده ای که در آن هوش‌مصنوعی به نفع همه اعضای جامعه باشد بسیار ارزشمند است.

- [OECD Principles on AI] (https://www.oecd.org/going-digital/ai/principles/). 

- [UNESCO Recommendations on AI Ethics] (https://unesdoc.unesco.org/ark:/48223/pf0000373439). 

- [Google AI Principles] (https://ai.google/principles).

- [IBM Responsible AI] (https://www.ibm.com/watson/research/research-areas/artificial-intelligence/ai-ethics).