Adobe анонсує нові інструменти генеративного штучного інтелекту для кінематографії, які дозволяють цікаво створювати звукові ефекти та контролювати результати відео. Окрім звичних текстових запитів, які зазвичай слугують для опису того, що моделі Adobe Firefly повинні згенерувати або відредагувати, користувачі тепер можуть використовувати звукові записи, схожі на ономатопеї, для створення індивідуальних звуків, а також використання реального відео для керування рухами у відео, згенерованому Firefly.
Інструмент для генерації звукових ефектів, що запускається в бета-версії в огляді Firefly, може бути використаний як з записаним, так і з згенерованим відео, і надає більший контроль над генерацією аудіо, ніж відеоінструмент Veo 3 від Google. Інтерфейс нагадує часову шкалу монтажу відео, що дозволяє користувачам узгоджувати створені звукові ефекти з завантаженим відео. Наприклад, користувачі можуть відтворювати відео, де кінь іде по дорозі, і одночасно записувати звуки «кліп-клоп», синхронізуючи їх з його копитами, разом з текстовим описом, що говорить «копита на бетоні». Інструмент згенерує чотири звукові варіанти на вибір.
Це є продовженням експерименту Project Super Sonic, який Adobe продемонструвала на своєму заході Max у жовтні. Хоча він не підтримує мовлення, але дозволяє створювати звукові ефекти від ударів, таких як тріск гілок, кроки, звуки застібки та інші, а також атмосферні звуки, такі як звуки природи та міська аудіосфера.
До генератора Text-to-Video Firefly також додаються нові вдосконалені настройки. Функція Composition Reference дає змогу користувачам завантажувати відео поряд з текстовим запитом для відображення композиції цього відео у згенерованому матеріалі, що має спростити досягнення конкретних результатів у порівнянні з повторним введенням лише текстових описів. Операція ключового кадру дозволяє користувачам обрізати й завантажувати зображення першого та останнього кадрів, на основі яких Firefly може створити відео, а нові стилістичні пресети надають можливість швидко обирати візуальні стилі, такі як аніме, векторна графіка, пластилінова анімація та інші.
Ці стильові пресети доступні лише для використання з власними моделями відео штучного інтелекту Firefly. Результати, згідно з наявними демонстраціями, залишають бажати кращого: «пластилінова» опція виглядала як рання 3D-анімація початку 2000-х. Але Adobe продовжує додавати підтримку конкурентних моделей штучного інтелекту в своїх інструментах. Головний спеціаліст Adobe з генеративного штучного інтелекту Александру Костін зазначив, що в майбутньому подібні управлінські функції та пресети можуть стати доступними для використання з сторонніми AI-моделями. Це вказує на намір Adobe зберегти свою лідируючу позицію у сфері програмного забезпечення для креативних професіоналів на фоні росту популярності AI-інструментів, навіть якщо вона відстає від OpenAI та Google в самих генеративних моделях.
