Omni‑Judge: 멀티모달 생성 평가의 새로운 패러다임

초록

본 논문은 텍스트‑조건부 오디오‑비디오 생성 모델을 평가하기 위해 옴니‑LLM을 활용한 평가 프레임워크 “Omni‑Judge”를 제안한다. 300개의 실제 사용자 프롬프트와 Sora 2·Veo 3이 생성한 영상·음성을 대상으로, 인간 평가와 기존 자동 메트릭(FVD, CLAP 등)과의 상관관계를 비교한다. 옴니‑LLM은 의미 정합성(오디오‑텍스트, 비디오‑텍스트, 삼중 일관성)에서 인간과 유사한 상관을 보였지만, 고프레임 영상 품질·오디오‑비디오 동기화와 같은 시간‑민감 메트릭에서는 한계를 드러냈다. 또한 자연어 형태의 설명을 제공해 오류 원인 파악 및 모델 개선에 활용 가능함을 입증한다.

상세 분석

Omni‑Judge는 옴니‑LLM(GPT‑4o, Gemini 2.5 등)이 텍스트·이미지·오디오·비디오를 동시에 인코딩하고, 체인‑오브‑쓰(thought) 방식으로 평가를 수행한다는 전제에서 출발한다. 논문은 먼저 VIdProM에서 추출한 300개의 프롬프트를 통계적으로 분석해 장르·주제·시각·음향 특성을 다양하게 구성하였다. 각 프롬프트에 대해 최신 텍스트‑투‑비디오 모델인 Sora 2와 Veo 3을 사용해 600개의 오디오‑비디오 샘플을 생성하고, 6명의 박사과정 학생이 9가지 세부 메트릭(비디오 품질, 오디오 품질, 오디오‑텍스트 정합, 비디오‑텍스트 정합, 오디오‑비디오 정합, 삼중 일관성, 동기화, 비디오·오디오 미학)으로 1‑5점 척도 평가를 수행했다.

전통 메트릭은 각각 단일 모달리티 혹은 두 모달리티 간의 임베딩 거리(FVD, CLAP, FA‑VD 등)로 측정되며, 프롬프트 의미를 직접 반영하지 못한다는 한계가 있다. 반면 옴니‑LLM은 프롬프트와 생성물 전체를 입력받아 “오디오가 장면에 맞는가?”, “음성·입술 움직임이 동기화되었는가?”와 같은 구체적 질문을 스스로 생성하고, 답변과 함께 근거를 제시한다.

실험 결과, 옴니‑LLM의 점수와 인간 평점 사이의 스피어먼 상관계수는 전통 메트릭과 동등하거나 약간 높은 수준을 보였다. 특히 의미 정합성(오디오‑텍스트, 비디오‑텍스트, 삼중 일관성)에서는 0.78‑0.82의 높은 상관을 기록해, 옴니‑LLM이 텍스트 의미를 이해하고 이를 멀티모달 콘텐츠와 연결하는 능력이 뛰어남을 확인했다. 그러나 고프레임 영상 품질(색상 일관성, 프레임 흐림)이나 오디오‑비디오 동기화와 같은 시간‑민감 메트릭에서는 0.55 수준으로 낮은 상관을 보였으며, 이는 현재 옴니‑LLM이 프레임 단위의 세밀한 temporal resolution을 충분히 처리하지 못함을 의미한다.

또한 옴니‑LLM은 평가 과정에서 “프레임 색상 변동이 심하고, 배경음이 장면과 맞지 않는다”와 같은 자연어 설명을 제공한다. 이러한 설명은 오류 원인을 직관적으로 파악하게 해 주며, 후속 피드백‑루프를 통해 생성 모델을 재학습하거나 프롬프트를 수정하는 데 활용될 수 있다. 논문은 이러한 인터프리터블 피드백이 모델 개선 파이프라인에 어떻게 통합될 수 있는지 간단히 시연한다.

전체적으로 본 연구는 옴니‑LLM이 멀티모달 생성 평가에서 의미 정합성 및 인터프리터블 피드백 측면에서 강점을 가지지만, 고속 시각·청각 정밀도 평가에서는 아직 한계가 있음을 명확히 한다. 향후 연구는 더 높은 프레임 레이트를 지원하는 옴니‑LLM 아키텍처와, 인간 평가와의 지속적인 라벨링을 통한 미세 튜닝을 통해 이러한 한계를 극복할 가능성을 제시한다.