비디오‑텍스트 정렬을 위한 캡션 체인 순위 학습

초록

본 논문은 영상‑텍스트 정렬에서 기존의 이진 선호 최적화(DPO)가 갖는 한계를 지적하고, 캡션을 단계적으로 저하시키며 완전 순위 체인을 자동 생성하는 방법을 제안한다. 생성된 순위 체인을 Plackett‑Luce 기반 DPO에 적용해 전체 순위를 학습함으로써, 세밀한 시각적 디테일을 반영한 장문 캡션 생성 및 평가에서 이진 DPO와 다중‑선호 최적화(MPO)를 능가한다. 또한, 비전 인코더를 함께 파인튜닝해야 최적 성능을 얻을 수 있음을 실험을 통해 확인한다.

상세 분석

이 논문은 Vision‑Language Model(VLM) 분야에서 “승자 독식” 구조를 갖는 기존 DPO가 비디오와 같이 복합적인 시각 정보를 다룰 때 발생하는 미세한 차이를 포착하지 못한다는 근본적인 문제를 제기한다. Bradley‑Terry 모델에 기반한 이진 DPO는 두 캡션 중 어느 하나가 더 선호되는지만 학습하고, “패배” 캡션이 여전히 시각적 충실도를 유지하고 있더라도 그 가치를 충분히 반영하지 못한다. 이를 해결하기 위해 저자들은 Plackett‑Luce 모델을 차용한 순위 기반 DPO를 도입한다. Plackett‑Luce는 전체 순위(전순위)를 확률적으로 모델링함으로써, 각 캡션이 차지하는 상대적 위치를 정밀하게 학습한다.

핵심 기여는 두 가지이다. 첫째, 고품질 비디오 캡션을 시작점으로 삼아, 사전에 정의된 시각‑기반 오류 유형(객체 누락, 속성 오류, 관계 부정확 등)을 LLM(Claude 3.7‑Sonnet)에게 순차적으로 삽입하도록 하여 완전 순위 체인(RCC)을 자동 생성한다. 이 과정은 (1) 순위가 완전하게 정의된다(오류 개수에 비례), (2) 각 단계가 이전 단계의 구조와 오류를 그대로 유지해 언어적 변동성을 최소화, (3) 오류 분포를 자유롭게 조절할 수 있어 모델이 약점으로 하는 영역을 집중 공략 가능, (4) LLM 기반이므로 대규모 데이터 생성이 비용 효율적으로 수행된다는 장점을 가진다.

둘째, 생성된 RCC 데이터를 이용해 Plackett‑Luce DPO를 적용한 순위 최적화를 수행한다. 수식 (2)와 (3)에서 보듯, 각 캡션 y_i에 대한 보상 r(x, y_i)를 exp 형태로 변환해 전체 순위 확률을 정의하고, 이를 음의 로그우도 손실로 최적화한다. β 파라미터를 통해 KL‑제약을 유지하면서 정책 π_θ를 업데이트한다.

실험에서는 두 종류의 최신 VLM(Perception‑LM‑1B와 Qwen2.5‑VL‑3B)을 사용해 1K 스텝(학습률 1e‑6) 동안 LoRA 어댑터를 삽입해 파인튜닝하였다. 비교 대상은 (1) 기존 이진 DPO(Bradley‑Terry), (2) MPO(다중‑선호 최적화, 상위 캡션을 승자로, 나머지를 패배자로), (3) 제안된 순위 DPO. 평가 벤치마크는 (a) 상세 비디오 캡션 생성(MSR‑VTT, PVD, VDC, ARGUS), (b) 장문 다중선택 QA, (c) 캡션 매칭(TempCompass)이다.

주요 결과는 다음과 같다. ① 순위 DPO는 모든 평가 지표(관련성, 서술성, 시간 일관성, 유창성)에서 이진 DPO와 MPO를 앞선다. 특히 세밀한 시각 디테일을 요구하는 장문 캡션에서 눈에 띄는 성능 향상이 관찰된다. ② 비전 인코더를 고정한 채 언어 모델만 파인튜닝하면 기대한 성능 향상이 제한적이며, 비전 인코더와 언어 모델을 동시에 파인튜닝할 때 비로소 순위 학습의 효과가 극대화된다. 이는 DPO가 단순히 “언어 재가중치”가 아니라 시각‑언어 공동 표현 학습을 촉진한다는 새로운 인사이트를 제공한다. ③ 자동 생성된 RCC 데이터셋(RCC‑PVD, RCC‑MSR)은 인간이 직접 순위를 매긴 데이터와 비교해도 품질이 충분히 높으며, 인간 라벨링 비용을 크게 절감한다.

이 논문의 한계도 언급된다. 오류 삽입 과정이 사전 정의된 오류 유형에 의존하므로, 실제 비디오에서 발생하는 복합 오류(예: 동시 발생하는 동작·관계 오류)를 완전히 포괄하지 못한다. 또한, 현재는 캡션 길이를 일정하게 유지하기 위해 오류 삽입만을 수행했지만, 실제 상황에서는 추가적인 서술이 필요할 수 있다. 향후 연구에서는 더 풍부한 오류 시나리오와 동적 길이 조절을 포함한 체인 생성 방식을 탐색하고, 인간 피드백을 혼합한 하이브리드 순위 학습을 검토할 여지가 있다.

전반적으로, 이 논문은 비디오‑텍스트 정렬에서 “정답‑오답” 이분법을 넘어 “정답‑덜‑정답‑아니다”의 연속성을 학습하도록 설계된 순위 기반 DPO 프레임워크를 제시함으로써, 시각‑언어 모델이 세밀한 시각 정보를 보다 정확히 반영하도록 하는 중요한 전진을 이룬다.