BART: Denoising Sequence-to-Sequence Pre-training

BART (ترانسفورمر دو جهته و رگرسیون خودکار) یک چارچوب پیش تمرینی توالی به دنباله است که توسط Meta AI Research توسعه یافته است. این نرم افزار نقاط قوت رمزگذارهای دوطرفه (مانند BERT) و رمزگشاهای خودبازگشت (مانند GPT) را ترکیب می کند تا در کارهای مختلف از تولید متن تا درک مطلب، برتری یابد. در زیر یک نمای کلی ساختار یافته است:

 1. معماری

BART از یک چارچوب استاندارد رمزگذار رمزگذار مبتنی بر ترانسفورمر استفاده می‌کند:

- رمزگذار: متن ورودی را به صورت دو طرفه (مانند BERT) پردازش می‌کند تا زمینه را ضبط کند.

- رمزگشا: خروجی‌ها را به صورت خودکار (مانند GPT) توکن به توکن تولید می‌کند.

 

این ساختار ترکیبی به BART اجازه می‌دهد تا هم وظایف درک (به عنوان مثال، دسته‌بندی) و هم تولید (به عنوان مثال، خلاصه‌سازی) را به طور موثر انجام دهد.

 2. هدف قبل از آموزش

BART به عنوان رمزگذار خودکار حذف نویز آموزش دیده است:

- 1. متن ورودی خراب: با استفاده از یک یا چند تابع نویز، نویز را به متن اصلی اعمال کنید:

 - Token masking: Token‌های تصادفی را با (مشابه BERT) جایگزین کنید.

 - Token Deletion: Token‌ها را به طور کامل حذف کنید.

 - پر کردن متن[1]: جای گستره‌های متن را با یک Token.

 - جایگشت جمله[2]: ترتیب جملات را به هم بزنید.

 - چرخش سند[3]: سند را با یک Token تصادفی شروع کنید.

- 2. بازسازی متن اصلی: مدل یاد می‌گیرد که ورودی اصلی را از نسخه خراب بازیابی کند.

این فرآیند مدل را مجبور می‌کند تا با استنباط اطلاعات گم شده یا مخدوش، بازنمایی‌های قوی را بیاموزد.

 3. ویژگی‌های کلیدی

* تطبیق‌پذیری[4]: پیش‌آموزش را هم برای نسل (مانند خلاصه، ترجمه) و هم برای درک مطلب (مثلاً دسته‌بندی متن) یکسان می‌کند.

* اجرای پیشرفته:

 - RoBERTa را در GLUE (درک زبان) و SQuAD (پاسخ به سؤال) مطابقت می‌دهد.

 - به 6 دستاورد ROUGE در خلاصه‌سازی انتزاعی و بهبود BLEU در ترجمه ماشینی نسبت به روش‌های پایه دست می‌یابد.

* برنامه افزودنی چند زبانه (mBART):

 - mBART که از قبل بر روی 25 زبان آموزش دیده است، Zero-Shot Translation را برای جفت زبان‌های کم منبع فعال می‌کند.

 - عملکرد را تا 12 BLEU برای کارهای ترجمه بدون نظارت افزایش می‌دهد.

 4. برنامه‌های کاربردی

- 1. تولید متن: خلاصه‌سازی، تولید گفتگو و نوشتن خلاقانه.

- 2. ترجمه ماشینی: برای ترجمه نظارت شده و بدون نظارت دقیق تنظیم شده است.

- 3. درک مطلب: پاسخ به سوال، تحلیل احساسات و دسته‌بندی اسناد.

 5. اجرا

* یکپارچه‌سازی صورت در آغوش گرفته: مدل‌های BART از پیش آموزش دیده از طریق کتابخانه «ترانسفورمر» برای تنظیم دقیق آسان در دسترس هستند.

* نکات کلیدی:

 - ورودی‌های پد در سمت راست (به دلیل تعبیه‌های موقعیتی مطلق).

 - از کارهایی مانند پر کردن متن یا جایگشت در طول تمرین برای نتایج بهینه استفاده کنید.

 6. مقایسه با مدل‌های دیگر

مدل	رمزگذار	رمزگشای	هدف پیش آموزش
BERT	دو جهته	هیچکدام	ماسک مدل‌سازی زبان
GPT	هیچکدام	خودرگرسیون	مدلسازی زبان علّی
BART	دوجهته	خودرگرسیون	بازسازی نویز زدایی

 7. محدودیت‌ها و تکامل

- هزینه آموزش: به منابع محاسباتی قابل توجهی برای پیش آموزش نیاز دارد.

- جانشینان[5]: در حالی که BART تأثیرگذار است، معماری‌های جدیدتر (مانند T5، هیبریدی‌های مبتنی بر BART) بر اساس اصول آن بنا شده‌اند.

 1. [Original Paper (Lewis et al., 2019)] (https://arxiv.org/abs/1910.13461) 

 2. [Hugging Face Documentation] (https://huggingface.co/docs/transformers/model_doc/bart) 

 3. [Meta AI Research Overview] (https://ai.meta.com/research/publications/bart-denoising-sequence-to-sequence-pre-training-for-natural-language-generation-translation-and-comprehension/) 

 4. [mBART for Multilingual Translation] (https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00343/96484)

BART’s flexibility and performance make it a foundational model in NLP, bridging the gap between understanding and generation tasks.

[1] https://ai.meta.com/research/publications/bart-denoising-sequence-to-sequence-pre-training-for-natural-language-generation-translation-and-comprehension/

[2] https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00343/96484/Multilingual-Denoising-Pre-training-for-Neural

[3] https://huggingface.co/docs/transformers/en/model_doc/bart

[4] https://arxiv.org/pdf/1910.13461.pdf

[5] http://arxiv.org/abs/1910.13461

[6] https://www.digitalocean.com/community/tutorials/bart-model-for-text-summarization-part1

[7] https://www.semanticscholar.org/paper/BART:-Denoising-Sequence-to-Sequence-Pre-training-Lewis-Liu/395de0bd3837fdf4b4b5e5f04835bcc69c279481

[8] https://www.youtube.com/watch?v=MxNnl_gHV1Y

---

[1] Text Infilling

[2] Sentence Permutation

[3] Document Rotation

[4] Versatility

[5] Successors