Seedance 2.0 기술 아키텍처

공개 기술 설명은 통합된 멀티모달 오디오-비디오 공동 생성 아키텍처를 참조합니다. 입력: 텍스트 플러스 최대 9개 이미지, 3개 비디오 클립 및 3개 오디오 트랙(플랫폼 제한에 따름). 텍스트는 장면, 동작 및 스타일을 주도합니다. 이미지/비디오/오디오는 구성, 동작, 칩의 및 사운드에 대한 참조를 제공합니다. 프롬프트의 @ 태그 시스템을 통해 각 자산에 역할을 할당할 수 있습니다.

비디오: 일반적으로 선택 가능한 4~15초, 최대 2K(2048×1080) 해상도, 종횡비는 종상 16:9, 9:16, 1:1, 4:3, 3:4, 21:9 및 적응형을 포함합니다. 오디오: 네이티브 스테레오, 비디오와 함께 공동 생성(후반 더빙 없음), 공개 보고서에서 여러 언어로 립싱크 지원. 많은 워크플로우에서 비디오 확장 및 현장 편집이 지원됩니다.

서드파티 기술 설명은 시각적 및 오디오 스트림을 단일 추론에서 처리하여 처음부터 립싱크, 사운드 효과 및 음악을 이미지와 정렬할 수 있게 하는 듀얼 브랜치 확산 트랜스포머를 설명합니다. 샷 간 일관성은 동일한 참조 이미지를 재사용하고 프롬프트에서 참조함으로써 달성됩니다.