Seedance 2.0 Architektura techniczna

Publiczne opisy techniczne odnoszą się do jednolitej architektury multimodalnej audio-wideo wspólnej generacji. Wejścia: tekst plus do 9 obrazów, 3 klipy wideo i 3 utwory audio (z zastrzeżeniem limitów platformy). Scena, akcja i styl dysków tekstowych; obrazy / wideo / audio stanowią odniesienie do kompozycji, ruchu, kamery i dźwięku. System @ tag w podpowiedzi pozwala na przypisywanie ról każdemu z aktywów.

Wideo: zazwyczaj 4- 15 sekund do wyboru; rozdzielczość do 2K (2048×1080); proporcje często obejmują 16: 9, 9: 16, 1: 1, 4: 3, 3: 4, 21: 9 i adaptacyjne. Audio: native stereo, generowane wspólnie z wideo (nie po-dubbed); lip-sync obsługiwane dla wielu języków w raportach publicznych. Rozszerzenie wideo i edycja w miejscu pracy są obsługiwane w wielu przepływach pracy.

Third- party technical write- upy opisują transformator dyfuzji dual- branch, który przetwarza strumienie wizualne i audio w jednym wniosku, umożliwiając synchronizację lip-sync, efekty dźwiękowe i muzykę, aby być dostosowane do obrazu od początku. Spójność pomiędzy ujęciami jest osiągana poprzez ponowne użycie tego samego (-ych) obrazu (-ów) referencyjnego (-ych) i odsyłanie do nich w wierszu.