هشدار طعنهآمیز: ارجاعات خیالی در مقالات کنفرانس NeurIPS
استارتاپ GPTZero در بررسی ۴۸۴۱ مقاله کنفرانس NeurIPS، ۱۰۰ ارجاع خیالی در ۵۱ مقاله شناسایی کرد. اگرچه این میزان از نظر آماری ناچیز است، اما پرسشهای جدی درباره کیفیت محتوای تولیدشده توسط هوش مصنوعی و تأثیر آن بر اعتبار علمی مطرح میکند.
ارجاعات خیالی در مقالات معتبر هوش مصنوعی
استارتاپ GPTZero که در زمینه تشخیص محتوای تولیدشده با هوش مصنوعی فعالیت میکند، با بررسی کامل ۴۸۴۱ مقاله پذیرفتهشده در کنفرانس معتبر NeurIPS، وجود ۱۰۰ ارجاع خیالی را در ۵۱ مقاله گزارش کرده است. این کنفرانس که ماه گذشته در سندیگو برگزار شد، یکی از مهمترین رویدادهای حوزه پردازش اطلاعات عصبی محسوب میشود.
تحلیل آماری و اعتبار پژوهش
- از نظر آماری، ۱۰۰ ارجاع مشکوک در میان دهها هزار ارجاع موجود در کل مقالات، نزدیک به صفر محسوب میشود.
- طبق بیانیه NeurIPS به مجله فورچون، حتی اگر ۱.۱ درصد از مقالات دارای ارجاعات نادرست باشند، این امر لزوماً محتوای اصلی مقاله را بیاعتبار نمیکند.
- هر مقاله در NeurIPS توسط چند داور بهصورت همتا بررسی میشود و استانداردهای سختگیرانهای دارد.
GPTZero هدف خود از این بررسی را «ارائه دادههای مشخص درباره نحوه ورود محتوای بیکیفیت هوش مصنوعی به فرآیندهای علمی» عنوان میکند.
این شرکت هشدار داده که سیل عظیم مقالات، «زیرساختهای داوری کنفرانسها را تا مرز فروپاشی تحت فشار قرار داده است».
پیامدهای گسترده
این اتفاق پرسشهای جدی درباره مسئولیت پژوهشگران و قابلیت اطمینان ابزارهای هوش مصنوعی مطرح میکند. اگر برجستهترین متخصصان هوش مصنوعی جهان نتوانند دقت استفاده از مدلهای زبانی را تضمین کنند، این موضوع برای جامعه علمی چه پیامی دارد؟
