کارخانه نرم‌افزار هوش مصنوعی: نگاهی به AI software factory
وقتی ایجنت‌های کدنویسی از دستیارهای پراکنده به خط تولید تبدیل می‌شوند، سوال دیگر «چه پرامپتی بزنم» نیست، بلکه «چطور این جریان را کنترل کنم». تجربه‌ی چند شرکت بزرگ نشان می‌دهد پاسخ در معماری است، نه در مدل بهتر.
وقتی ایجنت‌های کدنویسی از دستیارهای پراکنده به خط تولید تبدیل می‌شوند، سوال دیگر «چه پرامپتی بزنم» نیست، بلکه «چطور این جریان را کنترل کنم». تجربه‌ی چند شرکت بزرگ نشان می‌دهد پاسخ در معماری است، نه در مدل بهتر.
از پرامپت‌محور به صف‌محور
تفاوت اصلی یک کارخانه نرم‌افزار هوش مصنوعی با یک دستیار کدنویسی معمولی این است که کار به‌صورت صف وارد سیستم می‌شود، نه به‌صورت یک پرامپت لحظه‌ای. ورودی کار، ایجنت را در یک محیط قابل دورریختن اجرا می‌کند، ابزارهای لازم را در اختیارش می‌گذارد، خروجی را پیش از رسیدن به چشم انسان تایید می‌کند و در نهایت از یک گیت مرج عبور می‌دهد. استیو تاوب در دات‌نت، در یک روز، نه پول‌ریکوئست را از روی گوشی باز کرد و هفت‌تای آن‌ها مرج شد؛ نمونه‌ای از اینکه وقتی خط تولید درست چیده شده باشد، حتی یک نفر می‌تواند حجم زیادی کد را هدایت کند بدون اینکه پای لپ‌تاپ بنشیند.
ایزوله‌سازی، جایی که شرکت‌ها تفاوت واقعی می‌گذارند
استرایپ برای هر ایجنت یک باکس توسعه از پیش گرم‌شده کنار می‌گذارد و از طریق Toolshed حدود ۵۰۰ ابزار داخلی را از طریق MCP در دسترسش قرار می‌دهد؛ اما همان استرایپ اجازه نمی‌دهد ایجنت بیش از دو بار CI را اجرا کند و پس از آن کار را به انسان واگذار می‌کند. گیت وورک‌تری فایل‌ها و برنچ‌ها را جدا می‌کند اما دیتابیس، dependency و شبکه را دست‌نخورده باقی می‌گذارد؛ کانتینرها ایزوله‌سازی قوی‌تری برای همین سه مورد فراهم می‌کنند و سندباکس‌های ابری برای زمانی معرفی شده‌اند که چندین ایجنت باید هم‌زمان و در مقیاس اجرا شوند. انتخاب بین این سه سطح، مستقیماً روی اینکه چند ایجنت را می‌توان هم‌زمان بدون برخورد اجرا کرد اثر می‌گذارد، و همین انتخاب است که مسیر مقیاس‌پذیری یک کارخانه را تعیین می‌کند.
چرا تایید پیش از انسان اهمیت دارد
اسپاتیفای یک قاضی مبتنی بر LLM دارد که حدود ۲۵٪ نشست‌های ایجنت را وتو می‌کند، پیش از آنکه چیزی به دست انسان برسد. سنتری هم با Seer خطاهای ورودی را بر اساس قابلیت‌اقدام امتیاز می‌دهد تا فقط موارد ارزشمند وارد مرحله بررسی شوند. این لایه‌ها هزینه بازبینی انسانی را پایین می‌آورند، اما شواهد نشان می‌دهد تایید خودکار جای قضاوت نهایی را نمی‌گیرد: در دات‌نت پول‌ریکوئست‌های ایجنت ۶۷.۹٪ مرج شدند در برابر ۸۷.۱٪ برای مهندسان انسانی، و پول‌ریکوئست‌های کاملا خودکار فقط ۵۵.۱٪ مرج شدند. METR هم روی ۲۹۶ پول‌ریکوئست هوش مصنوعی که از یک ارزیاب خودکار عبور کرده بودند بررسی کرد و به این نتیجه رسید که تقریبا نیمی از آن‌ها از نظر نگهدارندگان واقعی قابل مرج نبودند؛ یعنی گذر از یک گیت خودکار هیچ تضمینی برای پذیرش انسانی نیست.
کالیبراسیون به‌جای اعتماد کور
فیر ابتدا سعی کرد با آستانه اطمینان مدل، نرخ پذیرش کامنت‌های بازبینی را بالا ببرد و این روش کار نکرد؛ وقتی به‌جایش کانتکست بازبینی، هدف‌گیری دقیق‌تر و گیت‌های مدل‌محور را بهبود داد، نرخ پذیرش به ۷۳٪ رسید. این تفاوت نشان می‌دهد تنظیم دقیق‌تر ورودی و گیت‌ها، نتیجه بهتری می‌دهد تا صرفا اعتماد بیشتر به خروجی مدل. اوبر با uReview بیش از ۹۰٪ از حدود ۶۵ هزار دیف هفتگی را پوشش می‌دهد، و شاپیفای گزارش کرده در یک بازه سی‌روزه ۳٬۵۳۶ پول‌ریکوئست با هم‌نویسندگی ایجنت River مرج شده‌اند؛ ورودی این ایجنت هم از طریق کانال‌های عمومی اسلک می‌آید، یعنی صف کار مستقیما از گفت‌وگوی تیم بیرون کشیده می‌شود. مایکروسافت با اضافه‌کردن دستورالعمل‌های دقیق‌تر و تنظیم فایروال، نرخ موفقیت ایجنت روی دات‌نت را از ۴۱.۷٪ به ۷۱٪ رساند؛ نشان می‌دهد بخش زیادی از شکست‌ها ریشه در پیکربندی محیط دارد، نه فقط در توانایی مدل. با این حال باید مراقب بود؛ گیت‌کلییر گزارش کرده بلوک‌های کد تکراری در سال ۲۰۲۴ هشت برابر شده، هشداری که نشان می‌دهد افزایش سرعت مرج بدون کنترل کیفیت می‌تواند بدهی فنی را پنهان انبار کند.
جایی که جست‌وجوی کد وارد می‌شود
همه این گیت‌ها به داده نیاز دارند تا بدانند کدام کار امن است و کدام نه، و اینجاست که ابزارهایی مثل ایندکس توسعه‌دهنده فایرکرال معنا پیدا می‌کنند؛ این ایندکس issue، pull request، README و اسناد را در بیش از ۷۰ میلیون آرتیفکت توسعه‌دهنده جست‌وجو می‌کند و از طریق endpoint POST به آدرس v2/search/developer با هزینه دو کردیت به ازای هر ده نتیجه در دسترس است، با دقت ۶۳٪ برای ده نتیجه اول روی بنچمارک داخلی DevDex. یک پاسخ محدود از همین سرویس مشخص می‌کند آیا یک ریپازیتوری اصلا ایندکس شده یا نه، که برای تیمی که می‌خواهد بداند ایجنتش چقدر زمینه دارد، نقطه شروع عملی است. کلادفلر با تولید فایل‌های AGENTS.md در بیش از ۳۹۰۰ ریپازیتوری، و فایرکرال با تشخیص تلاش‌های تزریق پرامپت هنگام استخراج، هر دو نشان می‌دهند که ساخت یک کارخانه واقعی، پیش از هر چیز، یک پروژه زیرساختی مستمر است، نه یک تنظیم یک‌باره؛ همین مستمر بودن است که تفاوت میان یک دمو جذاب و یک خط تولید قابل‌اعتماد را می‌سازد.
مشخصات
- مراحل کارخانه: ورودی، ایزوله‌سازی، ابزارها، تایید، گیت مرج
- endpoint جست‌وجوی توسعه‌دهنده: POST /v2/search/developer
- هزینه جست‌وجوی توسعه‌دهنده: ۲ کردیت به ازای هر ۱۰ نتیجه (سپتامبر ۲۰۲۶)
- دقت ده نتیجه اول در بنچمارک DevDex: ۶۳٪
- عرض‌های تایید بصری: ۱۲۸۰ پیکسل و ۳۷۵ پیکسل
- سقف اجرای CI پیش از واگذاری به انسان: ۲ بار
- نمونه سیاست بازبینی: دو بازبینی انسانی برای پول‌ریکوئست‌های تولیدشده توسط ایجنت
منابع
- How to build an AI software factory — Firecrawl