메타데이터 기반 QA 벤치마크 AMAQA: RAG 시스템 평가의 새로운 지평

초록

AMAQA는 텔레그램 공개 채팅과 호텔 리뷰를 원천으로 1.1백만 개의 메시지와 2만 개의 리뷰에 타임스탬프·채팅명·감정·독성 등 메타데이터를 부착한 단일 홉 QA 데이터셋이다. 2,600개의 고품질 질문‑답변 쌍을 제공하며, 메타데이터 활용이 RAG 성능을 크게 향상시킴을 GPT‑4o(0.5→0.86)와 오픈소스 모델(0.27→0.76) 실험을 통해 입증한다.

상세 분석

AMAQA는 기존 QA·RAG 벤치마크가 텍스트만을 대상으로 메타데이터를 무시한 한계를 극복하고자 설계되었다. 데이터는 26개의 공개 텔레그램 그룹에서 2024년 6월~8월 사이에 수집된 1,146,690개의 영문 메시지와, 20,000개의 호텔 리뷰로 구성된다. 각 텔레그램 메시지는 타임스탬프·채팅명·주제·감정·독성(혐오, 비방, 위협 등) 라벨을 부여했으며, 감정은 Ekman의 6가지 기본 감정에 ‘중립’을 추가한 7가지 클래스로 Zero‑Shot Classifier와 GPT‑4o를 활용해 자동 라벨링했다. 주제는 BERTopic과 GPT‑4o의 하이브리드 방식으로 58개 토픽을 정의했으며, 라벨 정제 과정을 통해 일관성을 확보했다. 호텔 리뷰는 감정 라벨만 포함하고, 타임스탬프·위치 정보 등 기본 메타데이터를 제공한다.

데이터셋 구축 과정에서 자동 라벨링의 오류를 최소화하기 위해 라벨 후처리와 인간 검증을 병행했으며, 특히 독성 라벨은 Perspective API의 0.7 임계값을 적용해 높은 신뢰도를 유지했다. 통계적으로 텔레그램 메시지는 ‘분노’가 가장 빈번하고, 정치·전쟁 관련 토픽이 주를 이루는 반면, 호텔 리뷰는 ‘기쁨’이 60% 이상을 차지하는 등 두 서브코퍼스 간 감정·길이 분포가 크게 다르다.

실험에서는 네 가지 RAG 파이프라인(Vanilla RAG, Metadata‑Filtering RAG, Vanilla + Re²G 재정렬기, Metadata‑Filtering + Re²G*)을 비교했으며, 메타데이터 필터링과 재정렬기를 결합한 모델이 가장 높은 정확도를 기록했다. 특히 GPT‑4o 기반 시스템은 메타데이터 사용 시 정확도가 0.5에서 0.86으로 급상승했으며, 오픈소스 LLM은 0.27에서 0.76으로 개선되었다. 이는 메타데이터가 단순 텍스트 검색을 넘어 정교한 후보 선택과 정답 추론에 핵심적인 역할을 함을 보여준다.

한계점으로는 데이터가 2024년 여름에 국한된 시점적 편향과, 텔레그램 채널이 정치·전쟁 중심으로 편중돼 일반 도메인 적용 가능성이 제한된다는 점을 들 수 있다. 또한 메타데이터 라벨링에 LLM 의존도가 높아 라벨 품질에 대한 외부 검증이 필요하다. 향후 연구는 멀티‑홉 추론, 메타데이터 기반 정답 검증, 그리고 다양한 도메인으로의 확장을 목표로 해야 할 것이다.