시각질문 모호성 극복을 위한 전략적 응답 생성 AQuA

초록

본 논문은 시각‑언어 모델(VLM)이 모호한 이미지‑질문 쌍에 대해 적절한 전략을 선택하도록 학습시키는 새로운 데이터셋 AQuA와 학습 방법을 제시한다. 모호성을 0~3의 네 단계로 세분화하고, 각 단계에 맞는 “직접 답변”, “맥락 추론”, “다중 후보 제시”, “명확화 요청” 네 가지 응답 전략을 정의한다. 기존 VLM은 대부분 과신된 단일 답변을 내놓는 반면, AQuA로 미세조정된 모델은 상황에 맞는 전략을 자동으로 선택해 정확도와 인간 친화성을 동시에 향상시킨다.

상세 분석

AQuA 논문은 시각 질문 응답(VQA) 분야에서 간과돼 온 ‘모호성’ 문제를 체계적으로 정의하고, 이를 해결하기 위한 두 축을 제시한다. 첫 번째 축은 모호성 수준의 정량적 분류이다. 저자들은 기존 VQA 벤치마크가 “명확하고 단일 정답”에만 초점을 맞추는 한계를 지적하고, 이미지 내 객체의 수·시각적 두드러짐·지시어(‘this’, ‘that’) 사용 여부 등을 기반으로 네 단계(Level 0~3)를 설계했다. Level 0은 전통적인 명확 질문, Level 1은 지시어가 있지만 시각적 단서로 바로 해석 가능한 경우, Level 2는 두세 개 정도의 합리적 후보가 존재해 모두 열거하는 것이 효율적인 경우, Level 3은 후보가 다수이거나 구분이 어려워 명확화가 필수인 경우이다. 이러한 정의는 인간 커뮤니케이션에서 나타나는 ‘추론‑열거‑질문’ 삼단 논법을 그대로 모델에 적용하려는 시도로, 평가와 학습을 동일한 기준으로 통합한다는 점에서 혁신적이다.

두 번째 축은 전략‑지향 응답 생성이다. 기존 연구는 “불확실하면 질문을 다시 물어라” 혹은 “불확실하면 ‘모르겠다’”와 같은 이분법적 접근에 머물렀다. AQuA는 네 가지 전략을 명시적으로 라벨링하고, 모델이 상황에 맞는 전략을 선택하도록 지도학습(Supervised Fine‑Tuning)과 강화학습(그룹 상대 정책 최적화, GRPO)을 결합한다. SFT 단계에서는 각 질문‑이미지 쌍에 대해 정답 텍스트와 함께 “전략 라벨”을 제공해 모델이 전략 공간을 인식하도록 한다. 이후 GRPO는 모델이 실제 응답을 생성했을 때 전략‑정합성을 보상함으로써, 단순히 정답을 맞추는 것을 넘어 “전략 선택 정확도”까지 최적화한다.

실험 결과는 두 가지 핵심 인사이트를 제공한다. 첫째, 오픈소스·클로즈드소스 VLM 모두 모호성 인식이 미흡하다. GPT‑5, Gemini, Qwen 등 최신 모델은 Level 3 상황에서도 무작위로 특정 객체를 지목하거나, 과도하게 자신감 있는 답변을 내놓는다. 이는 모델이 “불확실성”을 내부적으로 감지하더라도, 이를 외부 행동(명확화 요청)으로 전환하지 못한다는 점을 보여준다. 둘째, AQuA‑파인튜닝 모델은 전략 선택 정확도와 전체 VQA 성능 모두에서 현저히 우수하다. 특히 Level 2와 Level 3에서 다중 후보 열거 혹은 명확화 요청 비율이 크게 상승했으며, 인간 평가와의 일치도(≈90%)를 달성했다. 이는 전략‑지향 학습이 단순히 “정답 맞추기”를 넘어 대화형 AI가 요구하는 ‘맥락‑적응적 행동’에 가까워졌음을 의미한다.

기술적 한계도 존재한다. 데이터는 COCO 기반 이미지와 GPT‑5 생성 질문·답변으로 구성돼, 실제 현장 사진이나 도메인‑특화 이미지(의료, 제조 등)에서는 일반화가 검증되지 않았다. 또한 전략 라벨링이 인간 주관에 의존하기 때문에 경계 사례(Level 2와 Level 3 사이)에서 라벨 불일치가 발생한다는 점을 저자도 인정한다. 향후 연구는 다중 모달·다중 도메인 데이터와 연속적 불확실성 추정을 결합해, 전략 선택을 보다 미세하게 조정하는 방향으로 나아가야 할 것이다.

요약하면, AQuA는 모호성 수준 정의 → 전략 라벨링 → 전략‑지향 학습이라는 파이프라인을 제시함으로써, VLM이 인간과 유사한 ‘불확실성 관리’ 능력을 갖추게 하는 첫 번째 시도이며, 향후 대화형 멀티모달 시스템 설계에 중요한 기준점을 제공한다.