이미지 질문응답을 위한 모델 설계와 대규모 자동 생성 데이터셋 연구

초록

본 논문은 이미지와 자연어 질문을 동시에 처리하는 QA 시스템을 위해, 이미지 특징을 단어 임베딩과 동일한 차원으로 변환해 LSTM에 입력하는 end‑to‑end 모델(VIS+LSTM)과 그 변형들을 제안한다. 또한 기존 이미지 캡션을 활용해 질문‑답변 쌍을 자동으로 생성하는 알고리즘을 설계해, 기존 DAQUAR 데이터셋보다 10배 규모이며 정답 분포가 고르게 잡힌 COCO‑QA 데이터셋을 구축하였다. 실험 결과, 제안 모델은 기존 최고 성능보다 1.8배 높은 정확도를 기록했으며, 다양한 베이스라인과 비교해 모델 설계와 데이터 규모가 성능 향상에 크게 기여함을 확인하였다.

상세 분석

이 연구는 이미지 기반 질문응답(Image QA) 문제를 두 축으로 접근한다. 첫 번째 축은 모델 설계이다. 저자들은 19‑layer VGGNet의 마지막 풀링 레이어(4096‑dim)를 추출하고, 이를 300‑500 dim의 단어 임베딩 공간으로 선형 변환한다. 변환된 이미지 벡터는 질문 시퀀스의 첫 번째 혹은 마지막 토큰으로 취급되어 LSTM에 입력된다. 이때 LSTM은 양방향(Bi‑LSTM) 구조를 선택하거나, 단일 방향을 사용해 비교 실험을 진행한다. 이미지와 텍스트를 동일한 임베딩 차원에 매핑함으로써, 복잡한 객체 검출·세그멘테이션 단계 없이도 시각‑언어 결합을 자연스럽게 구현한다. 또한, 다양한 워드 임베딩(무작위 초기화, 도메인‑특화 skip‑gram, 일반 skip‑gram)을 실험해 임베딩 선택이 성능에 미치는 영향을 분석한다.

두 번째 축은 데이터 구축이다. 기존 DAQUAR 데이터는 1500장 이미지와 7000개의 QA 쌍으로 규모가 작고, 정답이 특정 객체 클래스에 편중돼 있었다. 저자들은 MS‑COCO 캡션을 파싱해 문법적 변환(복합문 분리, 부정관사→정관사, WH‑movement 등)을 수행하고, 네 가지 질문 유형(객체, 수량, 색상, 위치)으로 변환한다. WordNet과 NLTK를 이용해 명사·형용사 후보를 추출하고, 전치사구를 활용해 위치 질문을 생성한다. 생성된 QA는 빈도 기반 필터링을 거쳐 과도히 빈번하거나 희귀한 정답을 제거함으로써, 정답 분포를 24.98 %→7.30 %로 균등화하였다. 최종 COCO‑QA는 78 734개의 QA 쌍(학습 38 948, 테스트 38 948)으로, 평균 질문 길이는 9.65 토큰이며, 정답은 단일 단어로 제한한다.

실험에서는 정확도와 WUPS(0.9, 0.0) 두 지표를 사용한다. 베이스라인으로는 무작위 추측(모드), 질문만 이용한 BOW 로지스틱 회귀, 이미지만 이용한 “deaf” 모델, 이미지+사전 확률 결합 모델, K‑NN(이미지+텍스트) 등을 포함한다. 결과는 VIS+LSTM이 0.3441 정확도, 0.4605 WUPS(0.9) 등에서 최고 성능을 보였으며, 2‑VIS+BLSTM이 약간 낮은 성능을 기록했다. 특히, 이미지와 텍스트를 모두 활용한 모델이 “blind” 혹은 “deaf” 모델보다 크게 앞서는 것을 확인했다. 또한, 제안된 COCO‑QA에서 모드 추측 정확도가 7 % 수준으로 크게 감소해, 모델이 실제 시각‑언어 이해에 의존하도록 강제한다.

이 논문은 (1) 이미지 특징을 단어 임베딩과 동일 차원으로 매핑해 질문 시퀀스에 직접 삽입하는 간단하면서도 효과적인 모델 설계, (2) 기존 캡션 데이터에서 자동으로 고품질 QA 쌍을 생성해 대규모 데이터셋을 구축하는 파이프라인, (3) 다양한 베이스라인과 비교해 제안 방법의 우수성을 실증적으로 입증한 점에서 의미가 크다. 향후 연구에서는 다단어 답변 생성, 복합 논리 추론, 그리고 시각적 어텐션 메커니즘을 결합해 보다 복잡한 질문 유형을 다루는 방향으로 확장할 수 있다.