시간 논리 일관성을 위한 교차‑모달 주의 구분성 강화

초록

본 논문은 비디오‑LLM이 질문을 재표현했을 때 일관된 답변을 내놓지 못하는 원인을 교차‑모달 어텐션 헤드의 시간 구분 능력 부족으로 규명한다. 저자는 어텐션 헤드의 시간 구분성을 정량화하고, 이를 향상시키는 ‘Temporal Conditioned Attention Sharpening(TCAS)’ 손실을 제안한다. 실험 결과 TCAS가 비디오‑LLM의 논리 일관성 점수를 크게 끌어올리며, 일반적인 비디오 시간 정합 과제에서도 성능 향상을 보인다.

상세 분석

이 연구는 비디오‑LLM의 일관성 문제를 해석학적 관점에서 접근한다는 점에서 의미가 크다. 먼저 저자는 ‘Cross‑Modal Score’를 정의해 텍스트 토큰이 비디오 토큰에 할당하는 어텐션 강도를 정량화하고, 이 점수가 높은 헤드들을 ‘핵심 교차‑모달 어텐션 헤드’로 선정한다. 이어 ‘Attention Discriminability Score’를 도입해 각 헤드가 실제 사건이 발생하는 시간 구간에 얼마나 집중하는지를 비율로 측정한다. 통계 분석에서는 이 두 점수와 재표현·시프트 정합성 점수 사이에 Pearson r≈0.48의 강한 양의 상관관계가 있음을 보이며, 이는 시간 구분성이 일관성에 직접적인 영향을 미친다는 가설을 뒷받침한다.

인과관계 검증을 위해 저자는 어텐션을 목표 시간 구간으로 부분적으로 재분배하는 인터벤션을 수행한다. α 파라미터를 조절한 미세한 개입은 일관성 점수를 유의미하게 상승시켰으며, 과도한 개입은 오히려 성능 저하를 초래해 적절한 강화가 필요함을 시사한다. 이러한 관찰을 토대로 제안된 TCAS 손실은 선택된 상위 t개의 핵심 헤드에 대해, 원본 어텐션과 정답 구간에 균일하게 분포된 어텐션 간의 차이를 최소화하도록 학습한다. 마진 m과 임계값 thr을 통해 과도한 변형을 방지하면서도 헤드가 시간 구분성을 강화하도록 유도한다.

실험에서는 TimeChat‑7B와 Qwen2.5‑VL 두 모델에 TCAS를 적용했으며, Charades‑CON 데이터셋의 원본, 재표현, 시프트 정합성 세 서브셋 모두에서 mIoU와 Recall@0.5/0.7이 평균 1~3%p 상승했다. 특히 재표현 정합성(c_rg)에서는 0.48의 상관계수를 유지하면서도, 시프트 정합성(c_sg)에서는 보다 강한 α가 필요함을 밝혀 두 과제의 난이도 차이를 정량화했다. 또한 비디오 시간 정합(VTG) 벤치마크에서도 TCAS가 기존 모듈 대비 경쟁력 있는 성능을 기록, 시간 논리 일관성이 전반적인 시간 이해 능력에 기여함을 입증한다.

한계점으로는 현재 TCAS가 어텐션 헤드 수준에서만 작동해, LLM 디코더나 멀티모달 어댑터와 같은 다른 구성요소의 영향은 다루지 않는다. 또한, 어텐션 재분배가 실제 비디오 내용 이해와 얼마나 일치하는지에 대한 정성적 평가가 부족하다. 향후 연구에서는 다양한 멀티모달 아키텍처에 대한 일반화 검증과, 어텐션 외의 시계열 표현(예: 포지셔널 인코딩)과의 상호작용을 탐색할 필요가 있다.