یافتههای پژوهشی: ابزارهای هوش مصنوعی در سوابق مددکاری اجتماعی خطاهای بالقوه مضر ایجاد میکنند
پژوهشی جدید نشان میدهد ابزارهای رونویسی مورد استفاده در انگلستان و اسکاتلند دچار توهم شده و سوابق مددکاری اجتماعی را با اطلاعات نادرست مانند هشدارهای جعلی خودکشی یا «مزخرفات» حاوی میکنند.
خطاهای هوش مصنوعی در سوابق مددکاری اجتماعی بریتانیا
پژوهشی که در ۱۷ شورای محلی در انگلستان و اسکاتلند انجام شده است، نشان میدهد که ابزارهای مبتنی بر هوش مصنوعی که برای خلاصهسازی و ثبت جلسات مددکاری اجتماعی استفاده میشوند، در حال وارد کردن خطاهای بالقوه مضر به سوابق رسمی مراقبت هستند. این خطاها شامل مواردی از جمله هشدارهای ساختگی درباره میل به خودکشی تا تولید صرفاً «مزخرفات» است. این یافتهها در حالی منتشر میشوند که استفاده از این فناوری، که هدف آن صرفهجویی در زمان برای مقابله با کمبود شدید نیروی کار است، در دولت محلی در حال گسترش میباشد.
یکی از مددکاران اجتماعی گزارش داد که یک ابزار رونویسی بهاشتباه نشان داده که مراجع او قصد خودکشی داشته، در حالی که اصلاً چنین بحثی مطرح نشده بود. مشکلات دیگر شامل جایگزینی موضوعات مهم صحبت کودک با کلماتی مانند «انگشت ماهی یا مگسها یا درختان» بود. کارشناسان هشدار میدهند که چنین ناهنجاریهایی میتواند منجر به نادیده گرفتن الگوهای رفتاری پرخطر شود. همچنین، نگرانیهایی در مورد صحت رونویسیهای مکالمات با افرادی که لهجههای منطقهای دارند، مطرح شده که اغلب منجر به نسخههای نامفهوم میشود.
- برخی مددکاران گزارش کردهاند که ابزارهای هوش مصنوعی بهطور نادرست «همه این کلمات را که گفته نشده بود» در پیشنویس اسناد گنجاندهاند.
- این فناوری ممکن است مرز بین ارزیابی مددکار و ارزیابی هوش مصنوعی را مبهم کند که میتواند منجر به تصمیمگیریهای نادرست در مورد مراقبت از کودکان شود.
- نهادهای نظارتی مانند انجمن بریتانیایی مددکاران اجتماعی (BASW) خواستار صدور دستورالعملهای واضح برای استفاده از این ابزارها هستند.
- صرفهجویی زمانی مشاهدهشده با صرف زمان برای بررسی دقیق خروجیهای هوش مصنوعی، بهویژه در شرایطی که برخی فقط چند دقیقه برای بازبینی وقت میگذارند، خنثی میشود.
- شرکت ارائهدهنده یکی از سیستمهای محبوب به نام Magic Notes استدلال میکند که خروجیها فقط پیشنویس اولیه هستند و ابزارهای تخصصیتر دارای چکهای داخلی برای ریسک توهم میباشند.
«خطاهای تولید شده توسط هوش مصنوعی که وارد این سوابق میشوند ممکن است پیامدهای دوربردی داشته باشند، مانند تصمیمگیری نادرست مددکار در مورد مراقبت از یک کودک، که میتواند منجر به آسیب برای کودک و عواقب حرفهای برای مددکار شود.»
یکی از نگرانیهای اصلی این است که اگر فرآیند نوشتن و تفکر انتقادی توسط ماشین انجام شود، مددکاران از بخش مهم «تمرین تأملی» محروم میشوند. در حالی که پتانسیل صرفهجویی در زمان وجود دارد، خطرات مربوط به سوگیری و توهمات دقیق نیازمند ارزیابی و کاهش موثرتر هستند، تا زمانی که فعالان خط مقدم مجبور به پیمایش این چالشها بهتنهایی نباشند.
