다중턴·다중모달 검색을 위한 인터랙티브 벤치마크 DETOUR

초록

**
DET OU R은 1,011개의 다중턴 질문으로 구성된 dual‑agent 평가 프레임워크다. Primary Agent가 Memory Agent에 모호한 단서(텍스트·이미지·오디오·비디오)를 질의해 정답 엔터티를 찾아야 하며, 최신 LLM은 전 modality를 모두 사용할 때 36% 수준의 정확도에 머문다. 이는 다중턴·다중모달 상황에서 명확한 정정 질문을 생성하고 메모리 도구를 효율적으로 활용하는 능력이 아직 부족함을 보여준다.

**

상세 분석

**
본 논문은 기존 TIP‑OF‑THE‑TONGUE(토트) 검색 벤치마크가 1턴 정답 추론에 국한된 한계를 지적하고, 실제 대화에서 사용자가 기억을 되살리기 위해 여러 차례 질문·답변을 주고받는 과정을 모사한다. 이를 위해 두 개의 에이전트를 도입했는데, Primary Agent는 웹 검색 툴과 메모리 툴을 자유롭게 호출할 수 있는 “도구 호출 가능” LLM이며, Memory Agent는 사전에 제공된 메모리 파일(주로 이미지, 일부 오디오·비디오)만을 근거로 답변하도록 강제한다. 메모리 파일은 정답을 직접 노출하지 않으며, 추론에 필요한 단서(예: 우주복 사진, 배경음 등)를 포함한다.

데이터 구축 단계에서는 전문 어노테이터가 실제 “이름이 떠오르지 않는” 상황을 재현하도록 질문을 설계하고, 30분 이내에 해결 가능한 복합적·다중모달 문제를 만들었다. 질문은 8개 도메인(영화·음악·역사·과학·기술·스포츠·문화·일상)으로 고르게 분포하고, 입력 파일은 텍스트(25%), 이미지(37%), 오디오(19%), 비디오(19%) 비율을 가진다. 메모리 파일은 96%가 이미지이며, 이는 현재 멀티모달 LLM의 이미지 이해 능력을 시험한다는 점에서 의미가 크다.

평가에서는 GPT‑4o를 “LLM‑as‑judge”로 활용해 Primary Agent의 최종 답변이 정답과 일치하는지 판정한다. 메모리 에이전트는 Gemini‑2.5‑Pro 모델을 사용해 고정하고, 프롬프트 최적화를 통해 97.5% 이상의 응답이 메모리 파일에 근거함을 검증하였다. 실험 결과, GPT‑5가 텍스트‑전용 상황에서 66.9%의 정확도를 보였지만, 이미지·오디오·비디오가 포함된 전체 멀티모달 상황에서는 36% 수준으로 급락한다. 다른 모델(Gemini‑2.5‑Pro, Claude‑4.5, Llama‑4‑Scout 등)도 전반적으로 70% 이하의 정확도를 기록했으며, 특히 이미지 입력이 추가될 때 성능 저하가 두드러졌다.

오류 분석에서는 두 가지 주요 실패 요인을 제시한다. 첫째, 모델이 메모리 에이전트에 불필요하거나 중복된 질문을 반복해 대화 흐름을 방해한다(“질문 과다”). 둘째, 메모리 파일에 포함된 비시각적 단서를 충분히 활용하지 못하고, 웹 검색에만 의존해 정답을 찾지 못한다. 이러한 현상은 현재 LLM이 “불확실성 인식”과 “정교한 정정 질문 생성” 능력이 부족함을 의미한다.

논문은 또한 메모리 에이전트 활용을 촉진하기 위한 프롬프트 설계, 도구 호출 전략, 그리고 멀티모달 입력 전처리 방안을 제안한다. 향후 연구 방향으로는 (1) 메모리 에이전트와의 대화 전략을 강화하는 RL 기반 정책 학습, (2) 이미지·오디오·비디오에 대한 보다 정교한 특징 추출 및 통합, (3) 인간‑모델 협업을 통한 정정 질문 품질 평가 등을 제시한다. DETOUR는 이러한 연구를 위한 표준 테스트베드로서, 다중턴·다중모달 검색 에이전트의 실제 적용 가능성을 평가하는 중요한 이정표가 될 것이다.

**