시각 속성으로 강화된 서술형 캡션: 멀티모달 인식의 새로운 패러다임

초록

EDC는 사전 학습된 시각 전문가 모델들을 활용해 객체의 저수준·세분화 속성(깊이, 감정, 세부 카테고리)과 객체 간 관계(위치, HOI)를 추출하고, LLM을 통해 이를 자연스러운 서술형 캡션으로 통합한다. 110만 장 이미지에 적용한 결과, LLaVA‑v1.5와 LLaVA‑NeXT 등 대형 멀티모달 모델의 이미지‑언어 정렬 및 추론 성능이 다수 벤치마크에서 크게 향상되었다.

상세 분석

본 논문은 대형 멀티모달 모델(LMM)의 학습에 필수적인 “서술형 캡션”의 품질 한계를 정확히 짚어낸다. 기존 인간 주석은 비용과 규모의 제약으로 객체 수와 세부 속성이 부족하고, 최신 LMM 기반 자동 주석은 여전히 중요한 객체·관계를 누락한다는 점을 실험적 사례와 함께 제시한다. 이러한 문제를 해결하기 위해 저자들은 ‘시각 전문가(visual specialists)’라는 개념을 도입한다. 이는 객체 탐지, 깊이 추정, 감정 인식, 미세 분류, OCR, 인간‑객체 상호작용(HOI) 등 각각의 시각 과제를 전문적으로 수행하도록 사전 학습된 모델들을 의미한다.

EDC 파이프라인은 크게 세 단계로 구성된다. 첫째, 다수의 시각 전문가를 병렬로 적용해 이미지 내 각 객체에 대해 (1) 크기, (2) 깊이, (3) 감정, (4) 세부 카테고리(동물·식물·항공기·로고 등), (5) OCR 텍스트, (6) HOI 및 2D·3D 공간 관계와 같은 인스턴스‑레벨·관계‑레벨 속성을 추출한다. 논문 표 1에 정리된 바와 같이, 각 속성마다 전용 모델과 추출 프로세스가 명시되어 재현성을 높인다.

둘째, 추출된 속성을 프롬프트 형태로 LLM(예: GPT‑4, LLaMA 기반)에게 전달해 “지역 캡션(region caption)”을 생성한다. 여기서는 객체별 속성을 인간이 보는 방식으로 자연스럽게 서술하도록 LLM을 유도한다.

셋째, 지역 캡션들을 다시 관계‑레벨 속성과 결합해 최종 이미지 캡션을 만든다. 이 과정에서 LLM은 객체 간 상대적 위치, 상호작용, 3D 깊이 관계 등을 통합해 인간이 직접 기술할 때와 유사한 풍부하고 일관된 서술을 생산한다.

실험에서는 EDC가 생성한 1.1M 이미지 캡션(EDC‑1M, EDC‑118K)을 LLaVA‑v1.5와 LLaVA‑NeXT에 사전 학습 데이터로 사용하였다. 14개 벤치마크(시각 질문응답, 이미지‑텍스트 정합성, 복합 추론 등)에서 기존 CC3M·COCO·ShareGPT4V 기반 캡션 대비 평균 3~7%p의 성능 향상을 기록했으며, 특히 공간 관계와 HOI를 요구하는 작업에서 두드러진 개선을 보였다. 시각화(Figure 1, 2)에서도 EDC 캡션이 객체 수·속성·관계 모두에서 가장 높은 커버리지를 갖는 것이 확인된다.

기술적 강점은 (1) 오픈소스 시각 전문가만 사용해 라벨링 비용을 크게 절감, (2) 모듈식 설계로 새로운 속성·전문가를 손쉽게 추가 가능, (3) LLM 기반 텍스트 통합으로 인간 수준의 서술 품질 확보이다. 한편 한계점으로는 (①) 시각 전문가들의 오류 전파 위험, (②) 복잡한 파이프라인으로 인한 추론 비용 증가, (③) 현재는 정적인 이미지에 국한돼 동영상·시계열 데이터에 대한 확장은 미비함을 언급한다. 향후 연구에서는 전문가 모델의 신뢰도 향상, 멀티모달 어텐션 기반 통합, 그리고 비디오 캡션 생성으로 확장하는 방안을 제시한다.