ByteDance робить ще один крок у сфері генерації контенту, представляючи свою нову модель відео та аудіо Dreamina Seedance 2.0, яка тепер доступна в популярному редакторі CapCut. Це знаменний момент для творців контенту, адже модель дозволяє без зусиль створювати, редагувати та синхронізувати відео та аудіо, спираючись на прості запити, зображення або референсні відео.
Запуск моделі відбувається по етапах, починаючи з користувачів CapCut у таких країнах, як Бразилія, Індонезія, Малайзія, Мексика, Філіппіни, Тайланд і В’єтнам, з наміром розширити доступ до нових ринків у майбутньому. Цікаво, що цей анонс з’явився на фоні нещодавнього звіту про призупинення глобального запуску моделі, щоб вирішити питання інтелектуальної власності, які викликали критику з боку Голлівуду через потенційні порушення авторських прав. Тому наразі обрані ринки є обмеженими.
Dreamina Seedance 2.0
У Китаї модель вже доступна для користувачів додатку Jianying від ByteDance. Як зазначає компанія, Dreamina Seedance 2.0 має безпосередню можливість генерувати контент навіть без використання референсних зображень, що дозволяє творцям всього лише з кількома словами описати необхідну сцену. CapCut чудово відтворює реалістичні текстури, рухи та освітлення з різноманітних візуальних перспектив, що може бути корисним для редагування чи корекції власного відеоматеріалу.
Нова модель може стати в нагоді творцям для тестування концепцій ще до зйомки основного матеріалу. Dreamina Seedance 2.0 охоплює широкий спектр контенту — від кулінарних рецептів і фітнес-уроків до оглядів бізнесу й продукції, зокрема у форматах, де традиційні моделі генерації відео часто зазнають труднощів.
При запуску модель підтримуватиме кліпи довжиною до 15 секунд і шість різних аспектних співвідношень. У CapCut вона з’явиться у нових функціях редагування, таких як AI Video, а також інструментах відео-генерації як Video Studio. Модель також інтегрується в платформу генерації контенту ByteDance, Dreamina, та маркетингову платформу Pippit.
Зважаючи на здатність Dreamina Seedance 2.0 створювати реалістичний контент, ByteDance запровадила певні обмеження безпеки, щоб заборонити генерацію відео на основі реальних зображень чи відео з обличчями. CapCut також не допустить несанкціонованої генерації контенту, проте, швидше за все, модель ще потребує вдосконалення, адже наразі вона недоступна в США.
Важливою особливістю є те, що весь контент, створений за допомогою Dreamina Seedance 2.0, міститиме невидимий водяний знак, що допоможе ідентифікувати його при поширенні за межами платформи. Це стане в нагоді в разі подачі запитів на вилучення з боку правовласників у разі виявлення порушення авторських прав.
ByteDance також планує співпрацювати з експертами та творчими спільнотами, аби постійно вдосконалювати можливості нової моделі в міру її впровадження.
