이미지는 명확성을 높일까

초록

본 연구는 대화형 검색에서 텍스트 기반 질문에 이미지가 추가된 멀티모달 명확화 질문이 사용자의 질문 응답 및 쿼리 재작성에 미치는 영향을 73명의 참가자를 대상으로 실험하였다. 결과는 이미지가 질문 응답 시 선호도를 높이지만 실제 검색 성능은 텍스트만 있을 때 더 좋았으며, 쿼리 재작성에서는 이미지가 더 정확한 쿼리를 이끌어내어 검색 효과를 향상시킨다는 점을 밝혀냈다.

상세 분석

이 논문은 대화형 검색(Conversational Search, CS) 시스템에서 사용자가 시스템에 제시하는 명확화 질문에 시각적 요소를 결합했을 때 발생하는 인지적·행동적 변화를 정량·정성적으로 분석한다. 연구 설계는 within‑subject 방식으로, 동일 참가자가 텍스트‑전용 질문과 이미지가 포함된 멀티모달 질문 두 조건을 각각 ‘질문 응답(Clarifying Question Answering)’과 ‘쿼리 재작성(Query Reformulation)’이라는 두 작업에 수행하도록 하였다. 총 73명의 참가자는 다양한 도메인(패션, 건축, 의료 등)에서 22개의 토픽을 대상으로 실험했으며, 사전·사후 설문, 로그 데이터, 검색 결과의 정밀도·재현율을 통해 사용자 만족도, 참여도, 그리고 최종 검색 성능을 측정하였다.

핵심 결과는 세 가지 차원에서 도출된다. 첫째, 이미지가 포함된 멀티모달 질문은 시각적 단서를 제공함으로써 사용자의 인지 부하를 감소시키고, 특히 시각적 속성이 중요한 도메인(예: 웨딩드레스, 건축 설계)에서 질문에 대한 선호도가 현저히 높았다. 그러나 질문에 대한 실제 답변 품질은 텍스트‑전용 조건이 더 우수했는데, 이는 이미지가 제공하는 정보가 제한적이거나 오히려 사용자를 특정 이미지에 고정시켜 보다 포괄적인 텍스트 서술을 방해했기 때문으로 해석된다.

둘째, 쿼리 재작성 작업에서는 이미지가 긍정적인 영향을 미쳤다. 시각적 힌트는 사용자가 자신의 정보 요구를 구체화하고, 특히 ‘어떤 스타일’, ‘어떤 색상’ 등 구체적 시각 속성을 명시하는 데 도움을 주어, 재작성된 쿼리의 길이와 구체성이 증가하였다. 결과적으로 검색 엔진이 반환한 문서의 평균 정밀도와 nDCG가 텍스트‑전용 대비 유의미하게 향상되었다.

셋째, 사용자 전문성(전문가 vs. 비전문가)과 작업 유형에 따라 이미지의 효용이 달라졌다. 전문가 집단은 텍스트‑전용 질문에서도 높은 성과를 보였으며, 이미지가 오히려 불필요한 정보를 제공해 성능을 저하시킬 위험이 있었다. 반면 비전문가는 이미지가 제공하는 직관적 이해가 큰 도움이 되었으며, 특히 질문 응답 단계에서 참여도와 만족도가 크게 상승했다.

이러한 결과는 멀티모달 명확화 질문이 ‘사용자 경험(UX)’과 ‘시스템 성능(검색 효과)’ 사이에서 트레이드오프가 존재함을 시사한다. 설계자는 질문의 목적(정보 추출 vs. 쿼리 정제), 도메인의 시각적 특성, 그리고 사용자의 사전 지식 수준을 고려해 이미지 사용 여부를 동적으로 결정해야 한다. 또한, 이미지와 텍스트의 조화로운 배치를 위해 이미지 선택 알고리즘이 질문 의도와 일치하는 시각적 콘텐츠를 제공하도록 설계되어야 한다는 점이 강조된다.