다중모달 콘텐츠 생성용 멀티미디어 에이전트

초록

본 논문은 이미지·영상·음성·텍스트 등 다양한 입력을 받아 멀티모달 콘텐츠를 자동으로 제작하는 MultiMedia‑Agent를 제안한다. 데이터 생성 파이프라인, 도구 라이브러리, 선호도 정렬 메트릭을 구축하고, 인간의 기술 습득 과정을 모방한 3단계 학습(인지·연합·자율)과 두 단계 계획 최적화(자기‑상관·선호‑상관)를 적용해 기존 툴 기반 에이전트보다 높은 품질의 영상·음성·텍스트 결합 결과를 얻었다.

상세 분석

논문은 현재 AIGC 모델이 개별 모듈에 머무르는 한계를 지적하고, 복합적인 멀티모달 작업을 인간의 학습 과정을 모델링한 에이전트가 해결할 수 있음을 제시한다. 핵심 아이디어는 ‘Skill Acquisition Theory’를 도입해 학습 데이터를 단계별로 설계하고, 이를 기반으로 에이전트를 점진적으로 고도화하는 것이다.

첫 번째 단계인 인지 단계에서는 GPT‑4o가 생성한 기본 플랜을 전부 사용해 도구 호출 방식, 입출력 포맷, 기본 연산 등을 학습한다. 여기서는 다양한 멀티모달 이해 모델(이미지, 영상, 음성, 텍스트)과 생성·편집 도구를 연결하는 방법을 익히게 된다.

두 번째 연합 단계에서는 성공적으로 실행된 플랜만을 사용해 작업 흐름 설계와 도구 간 의존 관계를 학습한다. 이 과정에서 플랜의 논리적 일관성, 순서 최적화, 오류 복구 전략 등이 강화된다.

세 번째 자율 단계에서는 에이전트가 생성한 결과물에 대해 인간 선호도 모델(Preference Model)로 평가하고, 그 피드백을 이용해 파라미터를 미세조정한다. 여기서 인간의 미적·감성적 기준이 모델에 내재화되어, 단순 기능 수행을 넘어 사용자 만족도를 높이는 방향으로 최적화된다.

플랜 최적화는 두 단계 상관 전략으로 이루어진다. 첫 번째 ‘자기‑상관’ 단계에서는 GPT‑4o가 자체적으로 플랜을 검토·수정해 실행 가능성을 높인다. 두 번째 ‘선호‑상관’ 단계에서는 사전 학습된 선호도 평가 모델이 생성된 멀티모달 결과물을 점수화하고, 점수가 낮은 경우 플랜을 재구성한다. 이 반복 과정을 통해 플랜의 성공률과 콘텐츠 품질을 동시에 향상시킨다.

도구 라이브러리는 ‘멀티모달 이해’, ‘생성·편집’, ‘보조’ 세 카테고리로 구분되며, 각 도구는 JSON 형식으로 메타데이터(이름, 모델, 입력·출력 포맷, 파라미터 설명)를 제공한다. 파일 포맷을 고정하고 도구 이름에 입출력 타입을 명시함으로써 플랜 생성 시 형식 오류를 최소화한다.

실험에서는 18개의 현실적인 멀티모달 시나리오(예: 사진→비디오, 이미지+음악→여행 영상 등)를 구축하고, 제안된 에이전트를 기존 툴 기반 에이전트(HuggingGPT, ToolLLM 등)와 비교했다. 평가 지표는 도구 실행 성공률, 콘텐츠 품질(시각·청각·텍스트 일관성), 그리고 인간 선호도 정렬 점수이다. 결과는 MultiMedia‑Agent가 전반적으로 높은 성공률과 선호도 점수를 기록했으며, 특히 복합적인 모달 간 연계가 필요한 작업에서 현저히 우수한 성능을 보였다.

이 논문은 멀티모달 AIGC 시스템이 단일 모듈이 아니라, 인간 학습 메커니즘을 모방한 단계적 훈련과 피드백 루프를 통해 복합 작업을 수행할 수 있음을 실증한다. 또한, 도구 라이브러리와 플랜 정제 메커니즘을 공개함으로써 향후 연구자들이 멀티모달 에이전트를 확장·재현하기 위한 기반을 제공한다.