ناتوانی ChatGPT در حل معمای ساده توتفرنگی
کاربران متوجه شدهاند که ChatGPT حتی در جدیدترین نسخهها نمیتواند تعداد دقیق حروف کلمات مانند Strawberry را شمارش کند. دلیل این مشکل به تفاوت پردازش متن توسط مدلهای زبانی برمیگردد.
ناتوانی ChatGPT در حل معمای ساده توتفرنگی
کاربران اخیراً متوجه شدهاند که ChatGPT حتی در پیشرفتهترین نسخههایش نمیتواند به سوالات سادهای مانند شمارش حروف کلمات پاسخ صحیح بدهد. وقتی از این مدل زبانی پرسیده میشود چند حرف r در کلمه Strawberry وجود دارد، با اعتمادبهنفس پاسخ غلط "دو" را اعلام میکند.
دلیل فنی این ناتوانی
ریشه این مشکل به نحوه پردازش متن توسط مدلهای زبانی بزرگ برمیگردد. این مدلها کلمات را نه به صورت حروف جداگانه، بلکه به صورت توکن یا قطعات کلامی پردازش میکنند. برای مثال کلمه Strawberry برای هوش مصنوعی به چند توکن تقسیم میشود و مدل نمیتواند تکتک حروف را درون این بستهها بشمارد.
- مدلهای زبانی متن را به صورت توکن پردازش میکنند
- کلمه Strawberry به چند بخش تقسیم میشود
- شمارش حروف درون توکنها برای AI دشوار است
- این مسئله به "تست توتفرنگی" معروف شده است
- درک ماشین از متن با انسان متفاوت است
"ریشه این مشکل به نحوه پردازش متن توسط مدلهای زبانی بزرگ برمیگردد"
"این مسئله نشان میدهد که درک ماشین از متن با انسان تفاوت اساسی دارد"
عملکرد رقبای ChatGPT مانند Claude و Gemini در این تست بهتر گزارش شده است. به نظر میرسد سایر شرکتها با تغییر در روشهای توکنسازی یا استفاده از مکانیزمهای بازبینی توانستهاند بر این محدودیت غلبه کنند. این ناتوانی یادآوری میکند که حتی هوشمندترین ابزارهای هوش مصنوعی نیز ممکن است در کارهای ساده دچار خطا شوند.
