مدل هوش مصنوعی نسل بعدی بایتدنس: تولید ویدئو با متن، تصویر، صدا و ویدئوی ورودی
بایتدنس از Seedance 2.0، مدل تولید ویدیوی هوش مصنوعی جدید خود رونمایی کرد که میتواند کلیپهایی تا ۱۵ ثانیه را با در نظر گرفتن حرکت دوربین و جلوههای بصری تولید کند.
معرفی Seedance 2.0، مدل تولید ویدیوی هوش مصنوعی بایتدنس
رقابت در حوزه مدلهای پیشرفته هوش مصنوعی با رونمایی از نسل جدید مولد ویدئوی بایتدنس، شرکت چینی توسعهدهنده TikTok، ادامه دارد. مدل جدید آنها با نام Seedance 2.0 قابلیت جدیدی را معرفی میکند که شامل پشتیبانی از ورودیهای چندوجهی شامل متن، تصاویر، ویدئو و صوت است. بایتدنس ادعا میکند که این مدل «جهش قابل توجهی در کیفیت تولید» را ارائه میدهد و در تولید صحنههای پیچیده با سوژههای متعدد و پیروی از دستورالعملها بهبود یافته است. کاربران میتوانند با ارائه حداکثر نه تصویر، سه کلیپ ویدئویی و سه کلیپ صوتی، دستورات متنی خود را دقیقتر کنند.
قابلیتهای فنی و مقایسه با رقبا
Seedance 2.0 قادر است کلیپهایی با مدت زمان حداکثر ۱۵ ثانیه همراه با صدا تولید کند و فاکتورهایی مانند حرکت دوربین، جلوههای بصری و حرکت را در نظر میگیرد. این مدل همچنین میتواند از استوریبوردهای مبتنی بر متن مرجع بگیرد. پیشرفت در مدلهای تولید ویدئویی مبتنی بر هوش مصنوعی در سال گذشته چشمگیر بوده است؛ مدلهایی مانند Veo 3 گوگل و Sora 2 از OpenAI نیز رقبای سرسختی هستند که هر دو قابلیت تولید کلیپهای پشتیبانی شده از صوت را دارند. شرکت Runway نیز نسخهای از مدل خود را با دقتی «بیسابقه» معرفی کرده است.
نمایش تواناییها و ملاحظات حق تکثیر
بایتدنس در مثالی، توانایی Seedance 2.0 را در تولید یک اجرای اسکیت روی یخ نشان داد که در آن مدل توانست حرکات پیچیده و قوانین فیزیک دنیای واقعی را دنبال کند. کاربران در شبکههای اجتماعی نیز نمونههایی از خروجیهای این ابزار را منتشر کردهاند که شامل سکانسهای مبارزه سینمایی با استفاده از چهرههای مشهور و همچنین کلیپهایی به سبک انیمه و کارتونی است. با این حال، مشخص نیست که Seedance 2.0 چه میزان حفاظت کپیرایت ارائه میدهد، زیرا نمونههایی با حضور کاراکترهایی از Dragon Ball Z و Pokémon مشاهده شده است.
«بایتدنس میگوید Seedance 2.0 میتواند به طور قابل اعتماد توالی حرکات بسیار دشوار را انجام دهد - شامل پرشهای هماهنگ، چرخش در هوا و فرود دقیق روی یخ - در حالی که قوانین فیزیکی دنیای واقعی را به شدت دنبال میکند.»
در حال حاضر، Seedance 2.0 تنها از طریق پلتفرم Dreamina AI بایتدنس و دستیار هوش مصنوعی این شرکت یعنی Doubao در دسترس است. هنوز مشخص نیست که آیا این قابلیت به طور مستقیم وارد TikTok خواهد شد یا خیر، به خصوص با توجه به مالکیت جدید این اپلیکیشن در ایالات متحده.
- مدل جدید از ورودیهای ترکیبی متن، تصویر، ویدئو و صوت پشتیبانی میکند.
- قابلیت تولید کلیپهای تا ۱۵ ثانیه با حفظ قوانین فیزیکی.
- بهبود قابل توجه در تولید صحنههای پیچیده با سوژههای متعدد.
- در حال حاضر دسترسی محدود به طریق Dreamina AI و Doubao دارد.
- نمونههای خروجی نشاندهنده توانایی در سبکهای مختلف از جمله سینمایی و انیمه است.
