چهار گروه آزمایشی، یک نتیجه روشن درباره ChatGPT با نسخه GPT-4o
یک آزمایش تصادفی‌شده روی بیش از هزار دانشجوی سال اول دانشگاه بوکونی نشان می‌دهد دسترسی به ChatGPT با نسخه GPT-4o در یک تکلیف بازاریابی، امتیاز نهایی، تعداد ایده‌ها و انسجام منطقی پاسخ‌ها را بهبود می‌دهد؛ اما تنها بخشی از تصویر است.
یک آزمایش تصادفی‌شده روی بیش از هزار دانشجوی سال اول دانشگاه بوکونی نشان می‌دهد دسترسی به ChatGPT با نسخه GPT-4o در یک تکلیف بازاریابی، امتیاز نهایی، تعداد ایده‌ها و انسجام منطقی پاسخ‌ها را بهبود می‌دهد؛ اما تنها بخشی از تصویر است.
بیش از ۱۰۰۰ دانشجوی سال اول دانشگاه بوکونی به‌طور تصادفی در چهار گروه قرار گرفتند: دسترسی به ChatGPT، آموزش استدلال علّی، هر دو، یا هیچ‌کدام.
تکلیف مشترک همه گروه‌ها ارائه پیشنهادهای بازاریابی برای فروشگاه محصولات دانشگاه بود.
پاسخ‌ها توسط ارزیاب‌های انسانی آموزش‌دیده و با یک روبریک پنج‌امتیازی نمره‌گذاری شدند.
دسترسی به ChatGPT با نسخه GPT-4o امتیاز را نزدیک به یک واحد کامل افزایش داد و تعداد ایده‌ها، انسجام منطقی و شباهت پاسخ‌ها به توصیه‌های کارشناسی را بهتر کرد.
آموزش استدلال علّی که هیچ ارتباطی به هوش مصنوعی نداشت، امتیاز روبریک را افزایش نداد اما توضیح دلایل موفقیت یا شکست ایده‌ها را بهتر کرد و تنوع و تمایز ایده‌ها را نسبت به هم‌کلاسی‌ها بالا برد.
گروهی که هر دو مداخله را دریافت کردند، مزایای هر دو روش را نشان دادند و در گسترده‌ترین طیف از سنجه‌ها بهبود دیدند.
این یافته‌ها نشان می‌دهد ارزیابی صرف پاسخ نهایی و صیقل‌خورده کافی نیست و باید اصالت و کیفیت استدلال هم سنجیده شود.
نتیجه‌گیری
این آزمایش نشان می‌دهد ChatGPT و آموزش استدلال علّی دو چیز متفاوت را بهتر می‌کنند و جای یکدیگر را نمی‌گیرند. هوش مصنوعی خروجی را صیقل می‌دهد — امتیاز بالاتر، ایده‌های بیشتر، متن منسجم‌تر — اما همان چیزی را تقویت می‌کند که همهٔ هم‌کلاسی‌ها هم از آن استفاده می‌کنند، پس پاسخ‌ها به هم و به توصیه‌های استاندارد کارشناسی نزدیک‌تر می‌شود. آموزش استدلال علّی نمرهٔ روبریک را بالا نبرد، اما کاری کرد که ابزار از عهده‌اش برنمی‌آید: دانشجو توانست بگوید چرا یک ایده جواب می‌دهد یا شکست می‌خورد، و ایده‌اش از بقیه متمایز شد. گروهی که هر دو را داشت، در گسترده‌ترین طیف سنجه‌ها جلو افتاد.
پیام عملی برای آموزش این است: افزودن هوش مصنوعی به کلاس بدون تقویت تفکر علّی، دانشجویانی می‌سازد که خوب می‌نویسند و شبیه هم فکر می‌کنند. و پیام برای ارزیابی این است که نمره دادن به پاسخ نهایی دیگر کافی نیست — وقتی ابزار می‌تواند متن صیقل‌خورده تولید کند، آنچه باید سنجیده شود اصالت ایده و کیفیت استدلال پشت آن است، نه ظاهر پاسخ.