GPT-6 و کش کردن پرامپت
وقتی یک ایجنت ساعت‌ها روی یک تسک پیچیده کار می‌کند، هر فراخوانی جدید به مدل بخشی از همان کانتکست قبلی را با خودش حمل می‌کند. OpenAI با GPT-6 دقیقاً همین نقطه را هدف گرفته: کش کردن ورودی‌های مشترک بین درخواست‌ها، به‌طوری که پردازش تکراری کانتکست هزینه‌ای نداشته باشد.
وقتی یک ایجنت ساعت‌ها روی یک تسک پیچیده کار می‌کند، هر فراخوانی جدید به مدل بخشی از همان کانتکست قبلی را با خودش حمل می‌کند. OpenAI با GPT-6 دقیقاً همین نقطه را هدف گرفته: کش کردن ورودی‌های مشترک بین درخواست‌ها، به‌طوری که پردازش تکراری کانتکست هزینه‌ای نداشته باشد.
چرا ایجنت‌های ماندگار این مسئله را جدی می‌کنند
پشتیبانی GPT-6 از ایجنت‌های ماندگار که ساعت‌ها روی یک تسک کار می‌کنند، تعداد فراخوانی‌های API به مدل را زیاد می‌کند. OpenAI کانتکست‌های مشترک بین این درخواست‌ها را کش می‌کند و توکن‌های ورودی کش‌شده تا ۹۰٪ تخفیف می‌گیرند. اما این تخفیف بی‌قید نیست؛ فقط پیشوندهای مشترک واجد شرایطی به آن می‌رسند، و شرط واجد شرایط بودن همان چیزی است که مسیر بعدی را تعیین می‌کند.
شرط ۳۰ دقیقه‌ای که تخفیف را تعیین می‌کند
یک پیشوند مشترک فقط وقتی واجد شرایط تخفیف است که در بازه‌ی ۳۰ دقیقه‌ای دوباره استفاده شود؛ اگر فاصله‌ی بین دو فراخوانی از این پنجره بگذرد، همان بخش از کانتکست دوباره باید کامل پردازش شود. برای ایجنتی که فراخوانی‌هایش با فاصله‌های نامنظم انجام می‌شود، این پنجره‌ی زمانی یک عامل طراحی است. کنار همین شرط، GPT-6 به‌طور پیش‌فرض نرخ برخورد به کش بالاتری نسبت به نسخه‌های قبلی دارد، اما دیدن این نرخ در یک اپلیکیشن مشخص نیاز به ابزاری دارد که آن را نشان دهد، نه فرضی که آن را جایگزین کند.
ابزاری که علت از دست رفتن کش را نشان می‌دهد
داشبورد کش پرامپت سهم ورودی اپلیکیشن که از کش سرو شده و روند این نرخ در طول زمان را نشان می‌دهد. وقتی این نرخ پایین بیاید، ابزار تشخیص cache miss علت را مشخص می‌کند. در یک نمونه‌ی تشخیصی که OpenAI منتشر کرده، علت تغییر در تعریف ابزارها بوده؛ از ۵۶۲۹ توکن قابل استفاده‌ی مجدد، همان ۵۶۲۹ توکن به‌طور کامل از کش خارج شده‌اند. این عدد فقط برای همین نمونه‌ی مشخص گزارش شده و نشان می‌دهد چرا داشتن یک ابزار تشخیصی، به‌جای گمانه‌زنی، لازم است؛ سوال بعدی این است که توسعه‌دهنده چه کنترلی روی این رفتار دارد.
چه چیزی مستقیماً در دست توسعه‌دهنده است
breakpointهای صریح کش امکان می‌دهند توسعه‌دهنده مشخص کند کدام بخش از پرامپت پیشوند قابل استفاده‌ی مجدد باشد. در مدل‌های GPT-6 می‌توان میزان reasoning effort را بین پاسخ‌ها تغییر داد بدون شکستن کش. ثابت نگه‌داشتن تعریف ابزارها، schema، و ترتیب آن‌ها به حفظ کش کمک می‌کند، و prewarming امکان می‌دهد کانتکست شناخته‌شده پیش از رسیدن درخواست واقعی آماده شود. این مجموعه ابزار، همراه با داشبورد و تشخیص cache miss، تنها اطلاعاتی است که OpenAI درباره‌ی نحوه‌ی مشاهده و تنظیم رفتار کش در GPT-6 منتشر کرده است.
مشخصات
- تخفیف کش: تا ۹۰٪ روی توکن‌های ورودی کش‌شده
- پنجره واجد شرایط بودن کش: ۳۰ دقیقه
- توکن‌های قابل استفاده مجدد در نمونه تشخیصی: ۵۶۲۹
- توکن‌های از دست رفته در همان نمونه: ۵۶۲۹
منابع
- OpenAI — OpenAI