مدل‌های زبانی مبتنی بر نحو مقیاس‌پذیر

مدل‌های زبانی مبتنی بر نحو مقیاس‌پذیر با استفاده از تقطیر دانش، تکنیکی است که دانش را از یک مدل زبان نحوی، آموزش‌دیده بر روی یک مجموعه داده کوچک‌تر، به یک مدل زبان متوالی مانند LSTM منتقل می‌کند، و به LSTM اجازه می‌دهد تا نمایش ساختاری حساس‌تری از مجموعه داده‌های آموزشی بزرگ‌تر ایجاد کند. این روش به چالش مقیاس‌بندی مدل‌های زبان عصبی نحوی، که از نظر محاسباتی پیچیده هستند، می‌پردازد. این رویکرد از تقطیر دانش (KD) برای ترکیب مزایای تعصبات استقرایی نحوی با توانایی یادگیری از مقادیر زیاد داده استفاده می‌کند. آزمایش‌ها نشان داده‌اند که این تکنیک عملکرد را در ارزیابی‌های نحوی هدفمند، حتی در مقایسه با LSTMs متوالی، بهبود می‌بخشد. این امر اهمیت سوگیری‌های ساختاری را در مدل‌های زبان، حتی مدل‌هایی که بر روی مجموعه داده‌های بزرگ آموزش دیده‌اند، تأیید می‌کند. LSTM آگاه از نحو مقطر حاصله به عملکرد پیشرفته‌ای دست می‌یابد و حتی می‌تواند در ارزیابی‌های نحوی به عملکرد سطح انسانی برسد.