تنسورمش ۴.۵ میلیون دلار سرمایه برای بهینهسازی استنتاج هوش مصنوعی جذب کرد
شرکت تنسورمش با استفاده از تکنیک پیشرفته KV Caching، کارایی استنتاج هوش مصنوعی را تا ۱۰ برابر افزایش میدهد و هزینهها را کاهش میدهد.
بهینهسازی استنتاج هوش مصنوعی با تنسورمش
شرکت تنسورمش با جذب ۴.۵ میلیون دلار سرمایهگذاری بذری از سوی Laude Ventures، از حالت استیلث خارج شده است. این شرکت قصد دارد نسخه تجاری ابزار متنباز LMCache را توسعه دهد که توسط یکی از بنیانگذاران تنسورمش ایجاد شده است. این فناوری با استفاده از تکنیک پیشرفته KV Caching، حافظهی پردازش مدلهای زبانی بزرگ را بهینه کرده و هزینههای استنتاج را تا ۱۰ برابر کاهش میدهد.
- کاهش هزینههای استنتاج هوش مصنوعی تا ۱۰ برابر
- استفاده از حافظه KV Cache در چندین لایه ذخیرهسازی
- بهینهسازی ویژه برای رابطهای چت و سیستمهای عامل
- یکپارچهسازی با غولهای فناوری مانند گوگل و انویدیا
- ارائه راهحل آماده برای پیچیدگیهای فنی
“مانند داشتن یک تحلیلگر باهوش است که پس از هر سؤال، everything learned را فراموش میکند” - جانگ چن “نگهداری KV Cache در سیستم ذخیرهسازی ثانویه بدون کاهش سرعت سیستم چالش بزرگی است” - جانگ
این فناوری به ویژه برای کاربردهای مبتنی بر چت و سیستمهای عامل هوش مصنوعی حیاتی است، جایی که مدل نیاز به مراجعه مداوم به تاریخچه مکالمه دارد.
