پیشرفتهترین مدل هوش مصنوعی فقط ۶۹ درصد دقت دارد
آمار جدید گوگل نشان میدهد که حتی پیشرفتهترین مدل هوش مصنوعی موجود تنها ۶۹ درصد دقت دارد. بنچمارک FACTS عملکرد مدلها را در چهار حوزه کلیدی ارزیابی میکند.
بنچمارک FACTS گوگل: دقت هوش مصنوعی فقط ۶۹ درصد
آخرین تحقیقات گوگل دیپمایند نشان میدهد که حتی پیشرفتهترین مدلهای هوش مصنوعی مانند جمنای ۳ پرو تنها ۶۹ درصد دقت در بیان حقایق دارند. بنچمارک FACTS که هفته گذشته رونمایی شد، مدلهای AI را در چهار حوزه کلیدی ارزیابی میکند: پاسخ به پرسشهای واقعی بر اساس دانش درونی، استفاده مؤثر از جستوجوی وب، استناد دقیق به اسناد طولانی و تفسیر تصاویر.
- جمنای ۳ پرو با امتیاز ۶۹ درصد بهترین عملکرد را ثبت کرد
- سایر مدلهای پیشرو با اختلاف فاحشی پایینتر قرار گرفتند
- این آمار زنگ خطری برای کسبوکارهای متکی به هوش مصنوعی است
- خطاهای کوچک در صنایع مالی، بهداشت و حقوق میتوانند ویرانگر باشند
- یک شرکت حقوقی کارمندش را به دلیل استفاده از ChatGPT با پروندههای ساختگی اخراج کرد
"اگرچه مدلها در سرعت و شیوایی کلام بینظیرند، اما قابلیت اطمینان آنها در بیان حقایق همچنان با انتظارات انسانی فاصله دارد."
"هوش مصنوعی بهتر میشود، اما همچنان در حدود یکسوم موارد اشتباه میکند."
این بنچمارک هم هشدار است و هم نقشهراه برای بهبود دقت مدلهای هوش مصنوعی در آینده.
