فریب هوش مصنوعی را نخورید / هیچ درکی از جهان ندارد!
به گزارش رزنیوز، به نقل از زومیت، مؤسسه فناوری ماساچوست (MIT) در سکوت خبری، ضربه‌ی سنگینی به بزرگ‌ترین شرکت‌های هوش مصنوعی جهان وارد کرد.
پژوهشگران دانشگاه ام‌آی‌تی بنچمارکی جدید به نام WorldTest ساخته‌اند تا مشخص شود آیا مدل‌های هوش مصنوعی واقعاً «درکی» از جهان دارند یا صرفاً الگوها را تقلید می‌کنند؛ نتایج، ناامیدکننده بود.
در این آزمایش، حتی قدرتمندترین مدل‌ها از جمله Claude و Gemini ۲.۵ Pro و OpenAI o۳ در برابر عملکرد انسان‌ها شکست خوردند.
برخلاف آزمون‌های متداول که توانایی مدل را در پیش‌بینی کلمه‌ی بعدی یا فریم بعدی می‌سنجند، WorldTest بررسی می‌کند که آیا هوش مصنوعی می‌تواند مدلی درونی از واقعیت بسازد و از آن برای واکنش به موقعیت‌های تازه استفاده کند یا نه.
پژوهشگران ام‌آی‌تی برای این منظور AutumnBench را طراحی کردند؛ مجموعه‌ای شامل ۴۳ دنیای تعاملی و ۱۲۹ وظیفه‌ی متفاوت که در آن مدل‌ها باید بتوانند:
- بخش‌های پنهان محیط را پیش‌بینی کنند
- برای رسیدن به اهداف، برنامه‌ریزی چندمرحله‌ای انجام دهند
- تشخیص دهند چه زمانی قوانین محیط تغییر کرده‌اند
در این مطالعه، ۵۱۷ شرکت‌کننده‌ی انسانی در کنار پیشرفته‌ترین مدل‌های هوش مصنوعی آزمایش شدند. نتیجه روشن بود: انسان‌ها در تمام دسته‌ها برتری کامل داشتند و افزایش توان پردازشی مدل‌ها تأثیر چشمگیری در عملکردشان نداشت.
نتیجه‌ی اصلی این تحقیق تکان‌دهنده است؛ مدل‌های امروزی در واقع محیط را «درک» نمی‌کنند؛ بلکه تنها درون آن الگوها را تطبیق می‌دهند. آن‌ها برخلاف انسان‌ها کارهایی مثل کاوش، اصلاح باورها یا آزمایش فرضیه‌ها را انجام نمی‌دهند.
به گفته‌ی تیم ام‌آی‌تی، WorldTest شاید نخستین بنچمارکی باشد که به‌جای حافظه، «فهم واقعی» را می‌سنجد و شکافی که این آزمایش آشکار کرده، می‌تواند بزرگ‌ترین چالش بعدی در مسیر درک شناختی هوش مصنوعی باشد.
۵۸۵۸
