آیا هوش مصنوعی قابل اعتماد است؟ / پاسخ مایکروسافت
به گزارش رزنیوز، به نقل از زومیت، همزمان، تحقیقی جدید (که با همکاری دانشگاه ایالتی آریزونا انجام شده) نشان می‌دهد که مدل‌های ایجنت‌محور فعلی ممکن است در برابر «دستکاری» آسیب‌پذیر باشند. این یافته‌ها، سؤالات جدیدی را در مورد عملکرد ایجنت‌ها در حالت «بدون نظارت» و سرعت تحقق وعده‌های شرکت‌های فناوری در مورد «آینده‌ی ایجنت‌محور» ایجاد می‌کند.
محیط شبیه‌سازی که Magentic Marketplace نام گرفته، پلتفرمی برای آزمایش رفتار ایجنت‌های هوش مصنوعی است. برای مثال، در یک آزمایش، یک «ایجنت-مشتری» سعی می‌کند طبق دستورات کاربر شام سفارش دهد و «ایجنت‌های-رستوران» برای گرفتنِ آن سفارش رقابت می‌کنند.
پلتفرم مذکور که آزمایش‌های اولیه‌اش شامل تعامل ۱۰۰ ایجنت مشتری با ۳۰۰ ایجنت کسب‌وکار بود، به‌صورت متن‌باز منتشر شده تا سایر گروه‌ها نیز بتوانند یافته‌ها را بازتولید کنند.
اِجه کامار، مدیر آزمایشگاه AI Frontiers Lab در مایکروسافت، می‌گوید این نوع تحقیق برای درک چگونگی «همکاری و مذاکره‌ی» ایجنت‌ها با یکدیگر حیاتی است.
تحقیقات اولیه که روی ترکیبی از مدل‌های پیشرو از جمله GPT-۴o و GPT-۵ و Gemini-۲.۵-Flash انجام شد، ضعف‌های غافلگیرکننده‌ای را آشکار کرد. مهم‌ترین یافته این بود که کسب‌وکارها می‌توانند با استفاده از تکنیک‌های خاصی، ایجنت‌های مشتری را «دستکاری» کنند تا محصولات آن‌ها را بخرند.
محققان متوجه «افت شدید کارایی» در زمانی شدند که ایجنت مشتری با گزینه‌های زیادی برای انتخاب مواجه می‌شد و در واقع، «فضای توجه» آن اشباع می‌شد.
کامار می‌گوید: «ما از این ایجنت‌ها انتظار داریم که در پردازش گزینه‌های زیاد به ما کمک کنند؛ اما در عمل می‌بینیم که مدل‌های فعلی با افزایش تعداد گزینه‌ها به‌شدت غرق می‌شوند.»
ایجنت‌ها همچنین در همکاری برای رسیدن به یک هدف مشترک دچار مشکل شدند؛ ظاهراً در مورد اینکه کدام ایجنت باید چه نقشی را ایفا کند، سردرگم بودند.
با ارائه‌ی «دستورالعمل‌های صریح» در مورد نحوه‌ی همکاری، عملکرد ایجنت‌ها بهبود یافت؛ اما محققان معتقدند قابلیت‌های ذاتی هوش مصنوعی هنوز نیازمند بهبود جدی است. کامار در این‌باره می‌گوید: «ما می‌توانیم به مدل‌ها قدم به قدم دستور بدهیم… اما زمانی که در حال آزمایش توانایی ذاتی آن‌ها برای همکاری هستیم، انتظار داریم که این قابلیت‌ها را به‌صورت پیش‌فرض داشته باشند.»
۵۸۵۸
