2025년 TREC Tip of the Tongue 트랙 종합 분석

초록

본 논문은 2025년 TREC Tip‑of‑the‑Tongue(ToT) 트랙의 설계와 결과를 정리한다. 일반 도메인 53개 엔터티를 포함한 622개의 ToT 질의를 MS‑ToT 데이터, 인간이 직접 만든 질의, LLM이 생성한 합성 질의 세 종류로 구성했으며, 위키피디아 2023년 스냅샷(6,407,814문서)을 검색 대상 코퍼스로 제공했다. 참가자 9팀은 BM25와 밀집 검색 기반 베이스라인을 포함한 32개의 실행을 제출했으며, NDCG@1000을 주요 평가지표로 사용했다. 결과는 인간 질의와 합성 질의 모두에서 기존 베이스라인을 크게 능가했으며, 특히 합성 질의와 MS‑ToT 질의 간 성능 상관관계가 높아 다양한 질의 생성 방식의 유효성을 확인했다.

상세 분석

ToT(팁‑오브‑더‑톤) 검색은 사용자가 정확한 식별자를 떠올리지 못하고, 대신 아이템 자체에 대한 의미 기억과 마지막으로 접한 상황에 대한 에피소드 기억을 혼합해 서술하는 특수한 정보 요구이다. 이러한 질의는 불확실성 표현, 배제 조건, 상대적 비교, 허위 기억 등 일반적인 키워드 매칭으로는 포착하기 어려운 복합 언어 현상을 포함한다. 2025년 트랙은 이러한 특성을 반영해 단일 ad‑hoc 검색 과제를 유지하면서도 도메인을 영화에 국한하지 않고 53개의 일반 엔터티로 확대했다.

데이터는 크게 네 부분으로 구성된다. 첫째, Microsoft ToT 데이터셋에서 추출한 172개의 영화 질의는 기존 연구와 직접 비교할 수 있는 베이스라인을 제공한다. 둘째, NIST 평가자가 이미지 기반으로 직접 작성한 150개의 인간 질의는 영화, 유명인, 랜드마크 등 세 도메인에 고르게 분포한다. 셋째, Llama‑3.1‑8B‑Instruct와 GPT‑4o를 활용해 300개의 합성 질의를 생성했으며, 이는 무작위 위키피디아 문서와 요약 정보를 프롬프트에 삽입해 도메인‑중립적인 ToT 질의를 자동 생성하는 방식이다. 마지막으로, 전체 코퍼스는 2023년 위키피디아 스냅샷에서 추출한 6,407,814개의 문서이며, 각 문서는 doc_id, url, title, text, 섹션 정보 등을 포함한다.

참가자들은 외부 자원(예: 위키데이터) 사용을 허용받았지만, MS‑ToT 데이터와 “I Remember This Movie…” 커뮤니티 데이터를 학습에 활용하지 않도록 주의했다. 베이스라인으로는 Anserini 기반 BM25, PyTerrier 기반 BM25, 그리고 Lightning IR 기반 밀집 검색 모델을 제공했으며, 이들 중 PyTerrier‑BM25가 가장 높은 NDCG@1000을 기록했다.

성능 분석에서는 NDCG@1000 외에도 R@1000, MAP 등 여러 지표가 사용됐으며, 전반적으로 점수 분포가 넓게 퍼져 있었다. 특히 합성 질의와 MS‑ToT 질의 간 Kendall’s τ가 0.847로 매우 높은 반면, 인간(NIST) 질의와 다른 두 종류 간 상관관계는 각각 0.703, 0.737로 다소 낮았다. 이는 인간이 만든 질의가 더 복잡하고, 불확실성·배제·상대 비교 등 고차원 언어 현상을 더 많이 포함함을 시사한다. 또한, 베이스라인을 재랭킹하거나 부정 샘플로 활용한 팀은 상위 4위 안에 들지 못했으며, 이는 기존 전통적 IR 기법만으로는 ToT 질의의 미묘한 의미를 충분히 포착하기 어렵다는 점을 강조한다.

전체적으로 이번 트랙은 (1) 다양한 도메인과 질의 생성 방식의 결합, (2) 대규모 위키피디아 코퍼스 제공, (3) 외부 자원 활용 허용 등으로 ToT 검색 연구의 실험 환경을 크게 확장했으며, 합성 질의가 평가에 유용한 보조 수단이 될 수 있음을 입증했다. 향후 연구는 멀티‑홉 추론, 불확실성 모델링, 그리고 LLM 기반 재랭킹 기법을 통합해 ToT 특유의 복합 언어 현상을 보다 정교히 처리하는 방향으로 진행될 필요가 있다.