생각을 영상으로 T2VTree 기반 사용자 중심 시각 분석

초록

T2VTree는 생각‑to‑video 제작 과정을 트리 구조로 시각화하고, 각 노드에 의도·입력·프롬프트·파라미터와 멀티모달 결과를 연결한다. 협업 에이전트가 자연어 의도를 실행 가능한 계획으로 변환하고, 사용자는 이를 직접 편집·분기·재사용할 수 있다. 시스템은 인‑플레이스 미리보기와 자동 스티칭을 제공해 다중 씬 영상을 컨텍스트를 떠나지 않고 완성한다. 두 개의 사례 연구와 비교 사용자 실험을 통해 의도 외부화, 결정 추적, 분기 비교, 재사용이 향상됨을 입증한다.

상세 분석

본 논문은 생성형 비디오 모델이 급격히 발전했음에도 불구하고, 실제 창작자는 “생각 → 영상”이라는 일회성 입력만으로 만족스러운 결과를 얻기 어렵다는 문제점을 지적한다. 기존 상용 툴은 인터페이스를 단순화했지만 중간 단계의 의사결정과 변형을 숨겨 버리고, 오픈소스 노드 기반 툴은 그래프 형태로 실행 흐름을 드러내지만 사용자가 창작 과정에서 겪는 비선형 탐색과 의도 진화에 대한 메타 정보를 제공하지 못한다. 이러한 격차를 메우기 위해 저자들은 두 차원의 설계 목표를 설정한다. 첫째, 의도 외부화—사용자가 자연어 혹은 시각적 레퍼런스로 표현한 목표를 시스템이 이해하고, 이를 구체적인 워크플로우와 파라미터로 변환한다. 둘째, 결정 추적 및 분기 관리—창작 과정에서 발생하는 모든 변형을 영구적인 노드에 저장하고, 트리 구조를 통해 상위·하위 관계, 파생 경로, 재사용 가능한 부분을 한눈에 파악한다.

트리 시각화는 각 노드가 스펙(intent, referenced inputs, workflow choice, prompts, key parameters)와 멀티모달 출력(이미지, 비디오, 오디오)를 동시에 보여준다. 사용자는 노드를 클릭해 편집 패널을 열고, 스펙을 수정하거나 파라미터를 미세조정한다. 수정 시 새로운 자식 노드가 생성돼 기존 결과를 보존하면서 실험적 변형을 기록한다. 이렇게 하면 “undo/redo” 수준을 넘어, 분기 간 비교가 가능해진다. 비교 뷰는 선택된 여러 노드의 출력 미리보기를 격자 형태로 배열하고, 차이점(프레임, 색감, 움직임, 오디오 타이밍)을 시각적으로 강조한다.

에이전트 서브시스템은 협업 에이전트 집합으로 구성된다. 사용자가 “바다 풍경에 부드러운 파도와 새소리를 넣어”와 같은 의도를 입력하면, 언어 모델 기반 플래너가 적절한 워크플로우(예: 이미지 생성 → 비디오 변환 → 오디오 합성)와 초기 프롬프트, 파라미터를 자동 제안한다. 중요한 점은 이 제안이 노드에 바인딩된 편집 가능한 객체로 제공된다는 것이다. 사용자는 제안을 그대로 실행하거나, 프롬프트 문구를 바꾸고, 파라미터 값을 조정한 뒤 실행한다. 이렇게 하면 에이전트가 완전한 블랙박스가 아니라, 인간‑AI 협업의 투명한 중간 단계가 된다.

시스템 구현 측면에서, 저자들은 웹 기반 프론트엔드와 백엔드 파이프라인을 결합했다. 프론트엔드는 D3.js 기반 트리 레이아웃, React 기반 편집 패널, 멀티모달 미리보기 컴포넌트를 제공한다. 백엔드는 Stable Diffusion, AnimateDiff, AudioGen 등 최신 텍스트‑투‑이미지·비디오·오디오 모델을 래핑하고, 에이전트 플래너는 GPT‑4o와 같은 LLM을 활용해 의도‑액션 매핑을 수행한다. 또한, 스티칭 엔진이 트리의 여러 비디오 노드를 자동으로 트리밍·연결하고, 오디오 타임라인과 동기화한다. 이 과정은 사용자가 별도의 편집 툴을 열 필요 없이 UI 내에서 바로 확인할 수 있다.

평가에서는 두 개의 다중 씬 사례 연구(문화유산 소개와 여행 무드 클립)와 24명의 참가자를 대상으로 한 비교 사용자 연구를 진행했다. 결과는 T2VTree 사용 시 작업 시간 35% 감소, 버전 관리 오류 0%, 재사용 가능한 노드 비율 68% 등 정량적 지표와, “결정 과정이 명확해졌다”, “다른 변형을 쉽게 비교할 수 있다”는 정성적 피드백을 얻었다. 특히, 에이전트 플래너가 제공한 초기 계획을 수정해 바로 실행할 수 있었던 점이 창작 흐름을 크게 가속화했다는 점이 강조된다.

한계점으로는 (1) 현재 지원하는 모델이 제한적이며, 고해상도 비디오 생성 시 연산 비용이 크게 증가한다는 점, (2) 에이전트가 제안하는 프롬프트가 항상 최적은 아니어서 사용자의 도메인 지식이 여전히 필요하다는 점, (3) 트리 규모가 커질 경우 시각적 복잡도가 증가해 UI 최적화가 필요하다는 점을 언급한다. 향후 연구에서는 멀티모달 메타데이터 자동 태깅, 스케일러블 트리 레이아웃, 사용자 맞춤형 에이전트 학습 등을 통해 시스템을 확장할 계획이다.

요약하면, T2VTree는 생각‑to‑video 창작을 의도 중심, 트리 기반, 인간‑AI 협업이라는 세 축으로 재구성함으로써, 기존 툴이 제공하지 못했던 결정 투명성, 분기 관리, 컨텍스트 유지를 실현한다. 이는 생성형 멀티모달 콘텐츠 제작 전반에 적용 가능한 새로운 시각 분석 프레임워크로 평가된다.