کاهش ۱۶ ساعته زمان آموزش مدل با کشف تنگنای کامپایلر

کشف تنگنای پنهان در کامپایلر

این مقاله به تجربه‌ی تیمی می‌پردازد که با کاهش ۱۶ ساعته زمان آموزش مدل یادگیری عمیق مواجه شدند. مشکل اصلی نه در کد پایتون و نه در تعریف مدل، بلکه در پشته کامپایلر پنهان شده بود. با استفاده از TensorFlow همراه با TensorRT و بهینه‌سازی استنتاج از طریق TVM، آنها متوجه شدند که به‌رغم فعال بودن تمام بهینه‌سازی‌ها، استفاده از GPU به حالت ثابت رسیده است.

• تحلیل Relay IR در TVM نشان داد الگوهای فعال‌سازی خاص مانند ترکیب leaky_relu پس از layer_norm به درستی برای استنتاج کم‌ظرفیتی کاهش نمی‌یابند
• ایجاد یک الگوی تطبیق‌گر برای تشخیص جداسازی ناخواسته عملیات‌ها
• بازتنظیم کالیبراسیون کم‌ظرفیتی با استفاده از روش درصدی

"[TensorRT] WARNING: Detected uncalibrated layer: layer_norm_23" "اکثر بردهای عملکردی نه از ابزارهای جدید، بلکه از درک چگونگی شکست ابزارهای موجود حاصل می‌شوند"

این بهبود عملکرد با چالش‌هایی همراه بود از جمله کاهش دقت در مدل‌های کم‌ظرفیتی و تأثیر بر قابلیت تفسیرپذیری مدل. در نهایت، این تجربه نشان داد که دیدبانی کامپایلر به اندازه بهینه‌سازی مدل اهمیت دارد.