이미지 기반 대화: 멀티모달 맥락을 활용한 자연스러운 질문·응답 생성

초록

본 논문은 이미지가 공유된 상황에서 자연스러운 대화를 생성하는 새로운 과제인 Image‑Grounded Conversations(IGC)를 정의하고, 이벤트 중심 이미지와 다중 참고 문답을 포함한 4,222개의 대화 데이터를 공개한다. 시각·텍스트 복합 입력을 이용한 질문·응답 생성 모델을 제안하고, 250K 트위터 대화로 사전 학습한 후 IGC 데이터에 미세조정한다. 실험 결과 시각 정보와 텍스트 정보의 결합이 생성 품질을 크게 향상시키며, 인간 수준과 아직 큰 격차가 있음을 확인한다.

상세 분석

IGC 과제는 기존의 이미지 캡션이나 VQA와 달리, 이미지 자체가 대화의 주제와 흐름을 유도하도록 설계되었다. 이를 위해 저자들은 두 단계의 생성 작업을 정의한다. 첫 번째는 이미지 I와 초기 텍스트 맥락 T(예: 사용자가 이미지에 대해 첫 발언)를 입력으로 자연스러운 질문 Q를 생성하는 것이며, 두 번째는 동일한 시각·텍스트 맥락에 질문 Q를 추가로 제공해 적절한 응답 R을 생성한다. 질문은 이미지에서 직접 답을 추출할 수 없을 정도로 ‘추론·관심 유발’ 성격을 띠어야 한다는 점이 핵심이다.

데이터 구축 과정에서 저자들은 VQG 데이터셋에서 이벤트‑중심 이미지를 추출하고, Amazon Mechanical Turk를 활용해 두 명의 작업자가 실시간으로 대화를 나누게 함으로써 다중 턴·다중 참고 대화를 수집했다. 각 대화는 3턴(텍스트·이미지 소개, 질문, 응답)으로 구성되며, 동일한 이미지·맥락에 대해 추가로 5개의 질문·응답을 수집해 다중 레퍼런스 평가가 가능하도록 설계했다. 전체 4,222개의 대화는 훈련·검증·테스트로 40/60 비율로 분할되었다.

통계 분석에서는 시각·텍스트 맥락 모두가 질문 형성에 ‘효과적’임을 인간 평가를 통해 입증했으며, FrameNet 기반 프레임 분석을 통해 이미지만으로는 충분히 드러나지 않는 상황 프레임이 텍스트에 의해 보완된다는 점을 확인했다. 특히 질문이 이미지 프레임보다 텍스트 프레임에 더 많이 의존한다는 결과는 멀티모달 이해의 필요성을 강조한다.

모델링 측면에서는 VGG‑19를 이용해 4096‑차원 이미지 피처를 추출하고, 이를 LSTM 기반 언어 모델에 결합한 세 가지 아키텍처를 실험했다. 첫 번째는 이미지와 텍스트를 단순히 concat한 ‘멀티모달 Seq2Seq’, 두 번째는 이미지 피처를 초기 hidden state에 주입하는 ‘이미지‑조건화 LSTM’, 세 번째는 이미지 피처와 텍스트 피처를 attention 메커니즘으로 동적으로 결합하는 ‘멀티모달 어텐션’ 모델이다. 또한, 대규모 트위터 250K 3턴 대화 데이터를 사전 학습한 뒤 IGC 데이터에 미세조정함으로써 도메인 적응 효과를 검증했다.

평가에서는 자동 메트릭(BLEU, METEOR, ROUGE)뿐 아니라 인간 평가를 수행했으며, 멀티모달 어텐션 모델이 가장 높은 인간 선호도를 얻었다. 그러나 인간 평가 점수와 인간 자체 생성 문장의 차이가 여전히 크게 남아 있어, 현재 모델이 인간 수준의 대화 흐름·공감·추론을 충분히 구현하지 못함을 보여준다. 이는 이미지와 텍스트 간의 복합적인 의미 연결, 사건 간 인과·시간 관계 파악, 그리고 대화적 맥락 유지가 아직 미흡함을 시사한다.

결론적으로, 본 연구는 이미지가 대화의 ‘배경’이자 ‘촉진제’로 작용하는 새로운 대화 생성 과제를 정의하고, 이를 위한 데이터와 베이스라인 모델을 제공함으로써 멀티모달 대화 연구의 출발점을 마련했다. 향후 연구는 더 정교한 멀티모달 인코더, 사건 그래프 기반 추론, 그리고 사용자 의도 파악을 위한 강화학습 등을 통해 인간과 유사한 자연스러운 이미지‑기반 대화를 구현하는 방향으로 진행될 수 있다.