Agentic video understanding از گوگل دیپ‌مایند، تحلیل ویدیو را در مدل‌های Gemini بازتعریف می‌کند
گوگل دیپ‌مایند یک روش جدید برای پردازش ویدیو در مدل‌های Gemini معرفی کرده که به‌جای نمونه‌برداری ثابت از فریم‌ها، خود مدل تصمیم می‌گیرد کجا دقیق‌تر نگاه کند. نتیجه‌اش کاهش چشمگیر مصرف توکن و هزینه، همراه با بهبود دقت در تحلیل ویدیوهای طولانی است.
گوگل دیپ‌مایند یک روش جدید برای پردازش ویدیو در مدل‌های Gemini معرفی کرده که به‌جای نمونه‌برداری ثابت از فریم‌ها، خود مدل تصمیم می‌گیرد کجا دقیق‌تر نگاه کند. نتیجه‌اش کاهش چشمگیر مصرف توکن و هزینه، همراه با بهبود دقت در تحلیل ویدیوهای طولانی است.
مشکلی که در تحلیل ویدیو همیشه نادیده گرفته می‌شد
روش رایج تحلیل ویدیو در مدل‌های زبانی، نمونه‌برداری با نرخ ثابت است؛ معمولاً یک فریم در ثانیه، بدون توجه به این‌که در آن فریم چه اتفاقی می‌افتد. یک ویدیوی چند ساعتیِ نظارتی با همان نرخی پردازش می‌شود که یک کلیپ کوتاه پر از حرکت. این یعنی مدل روی صحنه‌های ساکن هم به همان اندازه توکن مصرف می‌کند که روی لحظه‌های حساس، و هزینه‌ی پردازش با طول ویدیو رشد خطی می‌کند. گوگل دیپ‌مایند حالا با agentic video understanding این فرض پایه را کنار می‌گذارد و تصمیم نمونه‌برداری را به خود مدل می‌سپارد.
مدل به‌جای نگاه‌کردن به همه‌چیز، جست‌وجو می‌کند
در حالت agentic، مدل به‌جای عبور یک‌دست از کل فریم‌ها، ابتدا در سطح ویدیو جست‌وجو می‌کند؛ هم در فریم‌های تصویری، هم در صدا، هم در رونوشت متنی. وقتی بخش مرتبط را پیدا کرد، می‌تواند همان بازه‌ی زمانی را با نرخ فریم بالاتر دوباره نمونه‌برداری کند تا جزئیات ریزتر مثل ناهنجاری‌ها را ببیند. همین معماری است که بازیابی لحظه‌ای در سطح زیر ثانیه را در ویدیوهای چندساعته ممکن می‌کند، و به مدل اجازه می‌دهد حرکات تکرارشونده یا اشیای متمایز را در طول زمان بشمارد؛ کاری که با نمونه‌برداری ثابت عملاً پرهزینه یا غیردقیق است.
عدد‌هایی که پشت این تغییر معماری ایستاده‌اند
طبق داده‌های گوگل دیپ‌مایند، این روش می‌تواند مصرف توکن در تحلیل ویدیو را تا ۸۸ درصد و هزینه را تا ۶۶ درصد کاهش دهد، و در عین حال دقت را تا ۷ درصد بهبود ببخشد. نرخ پردازش ثابت پیش‌فرض همچنان ۱ فریم بر ثانیه است و از طریق API قابل تنظیم است؛ اما نکته اینجاست که حالت agentic یک مسیر مستقل و جایگزین برای همان کار است، نه صرفاً تغییر یک عدد در تنظیمات نمونه‌برداری. قیمت‌گذاری بر اساس توکن استاندارد API جمینای انجام می‌شود و هزینه‌ی اضافه‌ای برای فعال‌کردن این قابلیت وجود ندارد.
مسیر عملی فعال‌سازی و جایی که این قابلیت سراغ کاربر می‌آید
برای استفاده، کافی است در پیکربندی API مقدار processing روی agentic تنظیم شود؛ این قابلیت هم‌اکنون از طریق Gemini API، در Google AI Studio و در Gemini Enterprise Agent Platform در دسترس است و از آپلود مستقیم ویدیو و همچنین ویدیوهای یوتیوب پشتیبانی می‌کند. گوگل دیپ‌مایند اعلام کرده این قابلیت به‌زودی به کاربران اپلیکیشن Gemini در مدل‌های Flash و Flash-Lite هم می‌رسد، و برنامه دارد قابلیت Ask YouTube در صفحات تماشای ویدیو را نیز با همین موتور تحلیل ویدیو تقویت کند. این یعنی همان معماری که امروز در سطح API دیده می‌شود، قرار است به‌زودی پایه‌ی یک تجربه‌ی کاربری روزمره‌تر هم باشد.
مشخصات
- مدل‌های پشتیبانی‌شده: Gemini 3.7 Flash، Gemini 3.6 Flash، Gemini 3.5 Flash-Lite
- حداکثر کاهش توکن: ۸۸ درصد
- حداکثر کاهش هزینه: ۶۶ درصد
- حداکثر بهبود دقت: ۷ درصد
- نرخ پیش‌فرض پردازش ثابت: ۱ فریم بر ثانیه
- حالت پردازش در API: agentic
- هزینه اضافه برای این قابلیت: ندارد
منابع
- Agentic video understanding — Google DeepMind