Seedance 2.0 Техническая архитектура

Публичные технические описания относятся к единой мультимодальной архитектуре совместного поколения аудио-видео. Ввод: текст плюс до 9 изображений, 3 видеоклипа и 3 аудиодорожки (с учетом ограничений платформы). Текстовые приводы сцены, действия и стиля; изображения / видео / аудио обеспечивают ссылку на композицию, движение, камеру и звук. Система тегов @ в подсказках позволяет назначать роли каждому активу.

Видео: обычно от 4 до 15 секунд; разрешение до 2K ()2048×1080Соотношение сторон часто включает 16:9, 9:16, 1:1, 4:3, 3:4, 21:9 и адаптивное. Аудио: нативная стереосистема, сгенерированная совместно с видео (не после дублирования); синхронизация губ поддерживается для нескольких языков в публичных отчетах. Расширение видео и редактирование на месте поддерживаются во многих рабочих процессах.

Сторонние технические записи описывают двухотраслевой диффузионный трансформатор, который обрабатывает визуальные и аудио потоки в одном выводе, позволяя синхронизировать губы, звуковые эффекты и музыку с самого начала. Согласованность между кадрами достигается путем повторного использования одного и того же эталонного изображения (изображений) и ссылки на них в подсказке.