멀티모달 통합 비디오 생성 모델 SkyReels V3

초록

SkyReels‑V3는 이미지·비디오·오디오·텍스트를 동시에 조건으로 받아 하나의 통합 아키텍처에서 세 가지 핵심 작업(이미지‑투‑비디오, 비디오‑연장, 오디오‑가이드 비디오)을 수행한다. 교차‑프레임 페어링·이미지 편집·시맨틱 리라이트 기반 데이터 파이프라인과 이미지‑비디오 하이브리드 학습, 다중 해상도 공동 최적화를 통해 높은 정체성 보존, 시간적 일관성, 음성‑입술 동기화를 달성한다. 평가 결과 시각 품질·명령 수행·참조 일관성에서 현업 클로즈드소스와 근접하거나 상위 수준을 기록한다.

상세 분석

SkyReels‑V3는 “멀티모달 인‑컨텍스트 학습”이라는 패러다임을 채택해, 텍스트 프롬프트와 함께 이미지, 비디오, 오디오 등 다양한 모달을 자유롭게 조합할 수 있는 단일 Diffusion‑Transformer 기반 프레임워크를 제시한다. 핵심 기술은 크게 세 부분으로 나뉜다. 첫째, 이미지‑투‑비디오 파이프라인에서는 대규모 인하우스 비디오 데이터에서 연속 프레임을 교차‑프레임 페어링(cross‑frame pairing) 방식으로 추출하고, 이미지 편집 모델을 이용해 주제 영역을 분리·배경을 보완한다. 이어서 시맨틱 리라이트 과정을 거쳐 “복사‑붙여넣기” 아티팩트를 최소화한 고품질 이미지‑비디오 쌍을 만든다. 둘째, 학습 단계에서는 이미지‑비디오 하이브리드 전략을 적용해 정적 외관 정보와 동적 움직임을 동시에 학습한다. 다중 해상도 공동 최적화(multi‑resolution joint optimization)를 통해 다양한 출력 비율(1:1, 3:4, 4:3, 16:9, 9:16)과 해상도(720p)에서 안정적인 성능을 확보한다. 셋째, 비디오 연장 모듈은 샷 전환 탐지기와 통합된 위치 인코딩을 도입해 단일 연장(single‑shot)과 샷‑스위칭(컷‑인, 컷‑아웃, 멀티‑앵글 등) 두 가지 모드를 지원한다. 특히, 계층적 훈련과 포지셔널 인코딩을 결합해 장시간(5~30초) 연장 시에도 움직임 흐름과 스타일 일관성을 유지한다. 마지막으로, Talking Avatar 서브모듈은 첫‑마지막 프레임 삽입 패턴을 학습해 분당 수준의 긴 영상 생성이 가능하도록 설계했으며, 음성‑입술 동기화를 위해 phoneme‑level 정렬 손실을 도입했다. 평가에서는 200개의 다중 도메인 테스트셋을 활용해 ‘Reference Consistency’, ‘Instruction Following’, ‘Visual Quality’ 세 지표를 측정했으며, 표 1에서 SkyReels‑V3는 기존 상용·오픈소스 모델을 능가하는 수치를 기록한다. 전체적으로 데이터 파이프라인의 정교함, 하이브리드 학습 설계, 그리고 모듈 간 일관된 인코더‑디코더 구조가 높은 품질과 범용성을 동시에 달성하게 한 핵심 요인으로 판단된다.