Laya
لایا مدلی است که به‌جای نوشتن پاسخ، یک تصمیم تایپ‌شده همراه با احتمال آن را در یک پاس رو-به-جلو برمی‌گرداند؛ رویکردی که مسیر متداول تولید متن برای گرفتن یک خروجی ساده مثل قصد یا برچسب را کنار می‌گذارد.
لایا مدلی است که به‌جای نوشتن پاسخ، یک تصمیم تایپ‌شده همراه با احتمال آن را در یک پاس رو-به-جلو برمی‌گرداند؛ رویکردی که مسیر متداول تولید متن برای گرفتن یک خروجی ساده مثل قصد یا برچسب را کنار می‌گذارد.
چرا خروجی متنی همیشه لازم نیست
بخش زیادی از کاربردهای واقعی هوش مصنوعی به تولید متن نیاز ندارند؛ فقط یک تصمیم می‌خواهند: این پیام چه قصدی دارد؟ این ادعا درست است یا نه؟ کدام دسته صحیح است؟ لایا دقیقاً برای همین دسته از سوال‌ها ساخته شده و به گفته سازنده‌اش یک مدل تصمیم‌گیری System 1، غیرخودبازگشتی و چندزبانه است که پاسخ را به‌صورت تایپ‌شده و همراه با احتمال، در یک پاس رو-به-جلو برمی‌گرداند. برای رسیدن به این رفتار، لایا از یادگیری تقویتی با قوانین امتیازدهی سخت‌گیرانه‌ی صحیح استفاده می‌کند؛ روشی که مستقیماً روی کیفیت خودِ تصمیم و احتمال آن آموزش می‌دهد، نه روی توانایی نوشتن جمله‌ای که آن تصمیم را توصیف کند. نتیجه مدلی است که هیچ متنی تولید نمی‌کند، و همین محدودیت است که مسیر بعدی پروژه یعنی چیدمان چک‌پوینت‌ها را شکل داده است.
سه چک‌پوینت، سه مسئولیت مشخص
مخزن پروژه سه چک‌پوینت جداگانه ارائه می‌دهد: یک نسخه انگلیسی، یک نسخه چندزبانه، و یک نسخه تصمیمات تایپ‌شده. چک‌پوینت انگلیسی بر پایه ModernBERT-large با 421 میلیون پارامتر و طول کانتکست 512 توکن ساخته شده و روی بنچمارک تشخیص قصد MASSIVE برای زبان انگلیسی به امتیاز 0.783 رسیده است. چک‌پوینت چندزبانه بر پایه mmBERT-base با 322 میلیون پارامتر ساخته شده، طول کانتکست 1024 توکن دارد و ظرفیت انکودر آن تا 8192 توکن می‌رسد؛ این نسخه بیش از 100 زبان را پوشش می‌دهد و روی همان بنچمارک MASSIVE، برای 13 زبان دیگر امتیاز 0.451 و روی XNLI برای 14 زبان دیگر امتیاز 0.731 گرفته است. چک‌پوینت سوم، مخصوص تصمیمات تایپ‌شده، روی بنچمارک خودش به دقت 0.766 رسیده است. فاصله میان امتیاز انگلیسی و امتیاز چندزبانه در همین اعداد قابل مشاهده است، اما در facts منتشرشده دلیل مشخصی برای این فاصله ذکر نشده و نمی‌توان بیش از عدد را تفسیر کرد.
روتری که تشخیص زبان را از تصمیم جدا می‌کند
با سه چک‌پوینت جداگانه، سوال بعدی این است که کدام یک باید فراخوانی شود. پاسخ پروژه یک Router است که بر اساس ورودی، چک‌پوینت مناسب را انتخاب می‌کند و تشخیص اسکریپت را در کمتر از 0.5 میلی‌ثانیه، به‌صورت پایتون خالص، انجام می‌دهد. این عدد یعنی مرحله انتخاب مسیر عملاً هزینه‌ای به زمان پاسخ‌دهی اضافه نمی‌کند؛ زمان واقعی صرف خود چک‌پوینت می‌شود. روی یک GPU از نوع T4، تاخیر تک‌سوال برای چک‌پوینت چندزبانه 32.8 میلی‌ثانیه و برای چک‌پوینت انگلیسی 39.5 میلی‌ثانیه گزارش شده است. این اعداد نشان می‌دهند که کل مسیر، از تشخیص زبان تا برگرداندن تصمیم تایپ‌شده، در حد چند ده میلی‌ثانیه باقی می‌ماند؛ اما ارزش این معماری وقتی روشن می‌شود که به شرایط استقرار آن نگاه کنیم.
مسیر واقعی برای گرفتن این مدل
لایا تحت لایسنس Apache 2.0 منتشر شده و پروژه از استقرار خودمیزبان پشتیبانی می‌کند. کد و هر سه چک‌پوینت در مخزن github.com/NandhaKishorM/laya قرار دارند و مسیر عملی برای شروع، کلون‌کردن همین مخزن و انتخاب یکی از سه چک‌پوینت بر اساس زبان و نوع تصمیم مورد نیاز است؛ برای کاربردهای انگلیسی‌محور چک‌پوینت ModernBERT-large، برای بیش از 100 زبان چک‌پوینت mmBERT-base، و برای خروجی‌های تایپ‌شده‌ی خاص، چک‌پوینت سوم. جزئیات دقیق نصب، وابستگی‌ها و فراخوانی Router در مخزن پروژه قابل بررسی است و همین مخزن، تنها منبع رسمی برای اجرا و آزمایش این مدل است. لایسنس Apache 2.0 یعنی استفاده تجاری و تغییر کد بدون محدودیت‌های سنگین کپی‌لفت ممکن است، و پشتیبانی از استقرار خودمیزبان یعنی امکان اجرای مدل روی زیرساخت خود کاربر فراهم شده است.
مشخصات
- پارامترهای چک‌پوینت انگلیسی: 421 میلیون (ModernBERT-large)
- پارامترهای چک‌پوینت چندزبانه: 322 میلیون (mmBERT-base)
- طول کانتکست انگلیسی: 512 توکن
- طول کانتکست چندزبانه: 1024 توکن (ظرفیت انکودر تا 8192 توکن)
- پوشش زبانی: بیش از 100 زبان در چک‌پوینت چندزبانه
- لایسنس: Apache 2.0
منابع
- Laya repository — GitHub