راهکار جدید هواوی مصرف حافظه هوش مصنوعی را تا 70 درصد کاهش می‌دهد
هواوی تکنیک متن‌باز SINQ را معرفی کرده که مصرف حافظه مدل‌های هوش مصنوعی را 60-70% کاهش داده و اجرای آنها روی سخت‌افزارهای ارزان‌قیمت را ممکن می‌سازد.
راهکار هوش مصنوعی هواوی برای سخت‌افزارهای ارزان
هواوی تکنیک متن‌باز SINQ را معرفی کرده که مصرف حافظه مدل‌های هوش مصنوعی را ۶۰ تا ۷۰ درصد کاهش می‌دهد. این روش مبتنی بر کوانتیزاسیون است اما بدون افت محسوس کیفیت، امکان اجرای مدل‌های پیشرفته روی سخت‌افزارهای مقرون‌به‌صرفه را فراهم می‌کند.
- کاهش نیاز حافظه از ۶۰ گیگابایت به حدود ۲۰ گیگابایت
- امکان استفاده از کارت‌های گرافیک ارزان‌قیمت مانند RTX 4090 به جای پردازنده‌های گران‌قیمت
- انتشار کدها با مجوز Apache 2.0 در پلتفرم‌های Github و Hugging Face
- دسترسی رایگان برای تمام توسعه‌دهندگان و شرکت‌ها
- تسهیل نوآوری در برنامه‌های هوشمند با حذف موانع مالی
"این کاهش هزینه در استفاده از سرورهای ابری نیز به همین اندازه چشمگیر است" "هر فرد یا شرکتی در سراسر جهان می‌تواند به صورت کاملاً رایگان از این کد استفاده کند"
این نوآوری می‌تواند تحول بزرگی در دسترسی به هوش مصنوعی برای استارتاپ‌ها و محققان ایجاد کند.
تگها:
هواوی هوش مصنوعی SINQ کوانتیزاسیون کاهش مصرف حافظه متن‌باز مدل‌های زبانی بزرگ