시간에 따라 변하는 IR 벤치마크, FreshStack의 지속 가능성 분석

초록

본 논문은 기술 문서 저장소인 FreshStack의 두 시점(2024‑10, 2025‑10) 스냅샷을 비교해, 시간에 따른 코퍼스 드리프트가 질의와 정답 판단에 미치는 영향을 조사한다. 203개 질문 중 2025년 스냅샷에서도 2024년과 동일하게 지원되는 질문은 202개뿐이며, 관련 문서는 LangChain에서 LlamaIndex 등 다른 저장소로 이전한다. 다양한 검색 모델을 평가한 결과, Recall@50 기준 켄달 τ 상관계수는 0.978로 모델 순위가 크게 변하지 않음을 확인했다.

상세 분석

이 연구는 전통적인 크랜필드(Cranfield) 패러다임이 정적인 코퍼스를 전제로 하는 한계를 지적하고, 특히 API 폐기·코드 재구성 등으로 급변하는 기술 문서 집합에서 벤치마크의 유효성을 검증한다. FreshStack은 LangChain을 중심으로 10개의 GitHub 저장소를 포함한 복합 코퍼스를 구축했으며, 2024년과 2025년 두 시점의 스냅샷을 동일한 파이프라인으로 재현했다.

첫 번째 핵심 결과는 질의의 지속 가능성이다. 203개의 질문 중 2025년 스냅샷에서도 모든 nugget(핵심 사실)를 지원하는 문서가 존재했으며, 단 하나의 질문만 지원이 끊겼다. 이는 기술 문서가 재배치되더라도 핵심 정보가 사라지지 않고, 다른 저장소에 분산된다는 점을 시사한다. 실제로 LangChain 저장소에서 차지하던 관련 문서 비중이 2024년 50.9%에서 2025년 24.8%로 급감했으며, LlamaIndex, transformers, chroma 등으로 분산되었다. 이러한 “문서 마이그레이션” 현상은 코드베이스가 모듈화되고 생태계가 다변화되는 현재 소프트웨어 개발 트렌드와 일치한다.

두 번째는 모델 성능 변동이다. BM25, Qwen3(8B), Stella, Granite 등 15여 개의 검색 모델을 동일한 하이브리드 퓨전 방식으로 평가했으며, α‑nDCG@10, Coverage@20, Recall@50 등 세 가지 메트릭에서 2024‑2025 간 차이는 미미했다. 특히 Recall@50 기준 켄달 τ는 0.978로 거의 완벽한 순위 일치를 보였으며, 이는 코퍼스가 변해도 상대적인 모델 강점이 유지된다는 중요한 시사점을 제공한다.

또한, 자동 라벨링을 위해 Cohere Command‑A를 활용한 nugget‑level 판단 방식을 도입함으로써 인간 라벨링 비용을 크게 절감했다. 이 방법은 장문 질문·답변에 대해 nugget 단위로 문서 지원 여부를 판단하도록 설계돼, 복잡한 기술 질의에서도 신뢰할 만한 판단을 얻을 수 있었다.

전체적으로, 본 연구는 (1) 기술 문서와 같이 빠르게 진화하는 코퍼스에서도 기존 질의가 대부분 유지될 수 있음을, (2) 모델 순위가 시간에 따라 크게 변동하지 않음을, (3) 자동 라벨링 파이프라인이 실용적임을 입증한다. 이는 향후 IR 벤치마크 설계 시 정적 코퍼스에 얽매이지 않고, 주기적인 스냅샷 재평가를 통해 지속 가능한 평가 환경을 구축할 수 있음을 의미한다.