가시적 단서를 넘어서: 이중 단서 추론을 통한 암묵적 비디오 질의응답

초록

본 논문은 비디오 질의응답(VideoQA) 분야에서 명시적인 시각적 증거가 없는 ‘암묵적’ 질문에 답하는 새로운 과제 I-VQA를 제안합니다. 상징적 의미나 숨은 의도를 묻는 질문에 대응하기 위해, 동작과 의도라는 이중 맥락 단서를 활용한 추론 모델 IRM을 개발했습니다. IRM은 기존 최고 수준의 멀티모달 모델들을 능가하는 성능을 보였으며, 광고 이해 및 교통 상황 예측 과제에서도 우수한 일반화 능력을 입증했습니다.

상세 분석

이 논문의 핵심 기술적 기여는 명시적 증거에 의존하지 않는 암묵적 추론을 가능하게 하는 ‘이중 단서(Dual-Clue)’ 프레임워크에 있습니다. 기존 VideoQA 모델들이 특정 시간대의 시각적 증거(예: 특정 행동이 나타나는 구간)를 찾는 데 집중했다면, I-VQA는 그러한 직접적인 증거가 차단된 상황을 가정합니다. 저자들은 인간의 인지 과정에서 상위 개념인 ‘의도’가 하위 개념인 ‘행동’을 추동하고, 이후의 ‘행동’이 다시 ‘의도’를 검증하는 순환 구조에 주목했습니다. 이를 모델화한 IRM은 두 가지 핵심 모듈로 구성됩니다.

첫째, Action-Intent Module(AIM)은 비디오의 맥락을 분석하여 질문과 관련된 ‘행동 참여 단서’와 ‘의도 단서’ 후보를 텍스트 형태로 생성합니다. 여기서 중요한 점은 생성된 단서 후보가 환각(Hallucination)이나 언어적 편향(Language Bias)에 오염될 수 있다는 점을 인지하고, 시각 정보 검증 모듈을 통해 텍스트 단서와 실제 비디오 내용의 일관성을 검토합니다. 또한, 관계 분류기를 도입하여 생성된 모든 단서가 암묵적 질문 해결에 실제로 기여하는지 여부를 판별, 유용하지 않은 단서는 필터링합니다. 이는 불필요한 정보로 인한 오류 전파를 방지하는 중요한 설계입니다.

둘째, Visual Enhancement Module(VEM)은 AIM에서 정제된 텍스트 단서를 원본 시각 정보와 결합하는 역할을 합니다. 어텐션 메커니즘을 통해 핵심 맥락 단서에 해당하는 시각적 표현을 강화(Enhance)합니다. 이렇게 강화된 시각 정보는 다시 AIM에 피드백되어 단서 생성 및 관계 추론의 정확성을 높이는 순환 구조를 형성합니다. 즉, 텍스트 단서 생성과 시각 정보 강화가 서로를 보완하며 반복적으로 개선되는 것입니다.

데이터셋 구성 역시 논문의 중요한 공헌입니다. 기존 Grounded-VQA 데이터셋의 명시적 증거 구간을 마스킹하여 I-VQA 데이터를 생성하는 반자동화 파이프라인을 설계했습니다. 특히, 상식만으로 답이 추론 가능한 질문이나 단순 기술 질문을 엄격히 제거하여 ‘암묵성’의 순도를 보장했습니다. 실험 결과, GPT-4o와 같은 초대규모 멀티모델 모델도 I-VQA에서 50% 초반의 정확도를 보여 이 과제의 난이도와 기존 접근법의 한계를 분명히 보여주었습니다.