JEV-27B-VL در صدر ارزیابی بینایی
مدل JEV-27B-VL از تنسنت نیست؛ این مدل در Hugging Face منتشر شده و در برد بینایی Jev Decision Index میان ۲۰ مدل رتبه نخست را گرفته است. امتیاز Full آن ۶۹٫۸۲ است؛ رقمی که ۶٫۴ امتیاز بالاتر از مرجع Qwen3.5-397B-A17B قرار می‌گیرد، در حالی که تعداد کل پارامترهایش تقریباً ۱۵ برابر کمتر است.
مدل JEV-27B-VL از تنسنت نیست؛ این مدل در Hugging Face منتشر شده و در برد بینایی Jev Decision Index میان ۲۰ مدل رتبه نخست را گرفته است. امتیاز Full آن ۶۹٫۸۲ است؛ رقمی که ۶٫۴ امتیاز بالاتر از مرجع Qwen3.5-397B-A17B قرار می‌گیرد، در حالی که تعداد کل پارامترهایش تقریباً ۱۵ برابر کمتر است.
رتبه نخست با فاصله‌ای روشن از مرجع بزرگ‌تر
JEV-27B-VL در برد بینایی Jev Decision Index میان ۲۰ مدل اول شده و در ۲۰ ستون بنچمارک، میانگین رتبه ۲٫۲۵ را به دست آورده است. این مدل در ۱۷ ستون از ۲۰ ستون در جمع سه رتبه برتر قرار دارد و در CharXiv و InfographicVQA نیز رتبه نخست را گرفته است. امتیاز آن در بنچمارک‌های عمومی ۷۲٫۷۸ و در آزمون‌های خصوصی ۶۶٫۸۶ است؛ در InfographicVQA هم به امتیاز ۹۸٫۴ در بخش عمومی و ۹۸٫۷ در بخش خصوصی رسیده است. این اعداد، مقایسه را از یک رتبه کلی به عملکردی نسبتاً پایدار در چند ستون ارزیابی تبدیل می‌کنند، اما جزئیات ساختاری مدل توضیح می‌دهد این نتیجه چگونه به دست آمده است.
تصمیم‌گیری روی یک رمزگذار بینایی ثابت
معماری مدل از رمزگذار بینایی Qwen3.8-27B، آداپتر JEV System 1 و یک سر تصمیم‌گیری تشکیل شده است. رمزگذار بینایی بدون تغییر استفاده شده و آداپتر System 1 و سر تصمیم‌گیری با داده متنی آموزش دیده‌اند. System 1 می‌تواند برای پاسخ‌های بله یا خیر، امتیازدهی از صفر تا پنج و انتخاب میان دو تا ۲۵۶ گزینه به کار رود و برای ورودی‌های متنی تا ۲۵۶ هزار توکن را پشتیبانی می‌کند. خروجی آن برای هر گزینه تصمیم، یک احتمال کالیبره‌شده است؛ مقدار خطای کالیبراسیون مورد انتظار نیز روی ۱۳٬۶۹۵ ردیف، ۰٫۰۱۹ گزارش شده است. بنابراین ارزیابی فقط به امتیاز خام محدود نیست و یک معیار مشخص برای کالیبراسیون احتمال‌ها هم ارائه می‌شود؛ آزمون‌های اجرایی، دامنه این قابلیت‌ها را با عددهای جداگانه نشان می‌دهند.
نتایج اجرایی از بازوی ربات تا ارزیابی پاداش
در نمایش بازوی ربات، مدل ۱۵ صحنه تصادفی از ۲۰ صحنه را با موفقیت کامل کرد. در نمایش کار با رایانه نیز، وقتی متن عناصر رابط ارائه شد، ۵۷ مورد از ۶۰ وظیفه چندمرحله‌ای تصادفی را به پایان رساند. در ارزیابی توصیه‌گر MicroLens-100k با استفاده از تصویر جلد، مقدار AUC برابر با ۰٫۷۲۷ ثبت شد. امتیاز مدل در Plan-RewardBench برابر با ۷۳٫۲ درصد دقت میانگین کلان، در VL-RewardBench برابر با ۷۸٫۳ درصد دقت کلی و در AgentRewardBench برابر با AUROC معادل ۰٫۹۱ بود. زمان پردازش هر ردیف برد روی RTX PRO 6000 حدود ۲۶۴ میلی‌ثانیه گزارش شده است. این نتایج به همان آزمون‌های مشخص محدودند و به‌تنهایی درباره عملکرد مدل در کاربردهای دیگر ادعایی ایجاد نمی‌کنند؛ مسیر دسترسی به خود مدل نیز روشن است.
جمع‌بندی: مدل کوچک‌تر در تعداد پارامتر، با چند معیار قابل سنجش
JEV-27B-VL در برد بینایی رتبه نخست را گرفته، امتیاز Full آن ۶۹٫۸۲ است و این امتیاز ۶٫۴ واحد از مرجع Qwen3.5-397B-A17B بیشتر گزارش شده است؛ در عین حال، تعداد کل پارامترهای آن تقریباً ۱۵ برابر کمتر از همان مرجع است. کالیبراسیون ۰٫۰۱۹، رتبه‌های برتر در ۱۷ ستون از ۲۰ ستون و نتیجه‌های جداگانه در آزمون‌های ربات، کار با رایانه، توصیه‌گری و ارزیابی پاداش، هرکدام بخشی از تصویر عملکرد مدل را نشان می‌دهند. برای بررسی مستقیم، می‌توانید صفحه JEV-27B-VL را در Hugging Face باز کنید؛ مدل با مجوز Apache-2.0 ارائه شده است. اطلاعات ارائه‌شده هزینه‌ای برای دسترسی یا اجرای مدل اعلام نمی‌کند، بنابراین نمی‌توان درباره هزینه استفاده نتیجه‌ای فراتر از همین مجوز و مسیر دسترسی داد.
مشخصات
- معماری: رمزگذار بینایی Qwen3.8-27B با آداپتر JEV System 1 و سر تصمیم‌گیری
- ورودی System 1: متن و تصویر
- خروجی System 1: احتمال کالیبره‌شده برای هر گزینه تصمیم
- تعداد گزینه‌ها: از ۲ تا ۲۵۶ گزینه
- طول کانتکست: تا ۲۵۶ هزار توکن
- مجوز: Apache-2.0
منابع
- JEV-27B-VL — Hugging Face