LFQA‑E: 장문 질문‑응답 평가를 위한 다국어 기준 벤치마크

초록

LFQA‑E는 1,618개의 질문과 7,323개의 쌍별 비교를 포함한 다국어(영어·중국어) 장문 QA 벤치마크이다. 전문가가 만든 정답 레퍼런스를 제공하고, 인간‑대‑인간, 인간‑대‑모델, 모델‑대‑모델 3가지 설정에서 17개의 자동 평가 지표(정적, LLM 기반, 보상 모델, 대규모 추론 모델, 학습 기반)를 체계적으로 검증한다. 실험 결과 모든 자동 지표가 인간 판단에 크게 뒤처짐을 확인했으며, 실패 원인과 일반화 한계를 상세히 분석한다.

상세 분석

LFQA‑E는 기존 장문 QA 평가 벤치마크가 갖는 두 가지 근본적인 한계—레퍼런스 부재와 규모·주제 편중—를 동시에 해소한다. 1,618개의 질문은 온라인 포럼(ELI5)과 최신 시험(CEESQ·PEEQ)에서 추출했으며, 15개 분야(공학, 의학, 법학 등)와 영어·중국어 두 언어에 고르게 분포한다. 각 질문마다 전문가가 검증한 레퍼런스 답변을 제공함으로써, 자동 지표가 “핵심 정보 포함 여부”와 “사실 정확성”을 직접 비교할 수 있게 했다.

데이터 수집 단계에서는 GPT‑4o를 활용해 질문 명확성 필터링(정확도 97%)과 인간 응답의 정제·패러프레이징을 수행했으며, OCR 기반 이미지 추출과 인간 답변의 다중 검증(코헨 카파 0.78)으로 품질을 보장했다. 모델 응답은 Llama‑3‑8B‑Instruct와 GPT‑3.5‑turbo를 사용해, 성능이 비슷한 모델 간의 미묘한 차이를 드러내는 난이도 높은 비교를 설계했다.

평가 지표는 크게 다섯 범주(정적, LLM‑기반, 보상 모델(RM), 대규모 추론 모델(LRM), 학습 기반)로 나뉘며, 총 17개 방법을 적용했다. 정적 지표인 ROUGE와 BERTScore는 길이와 어휘 겹침에만 의존해 내용 충실도를 포착하지 못했고, LLM‑기반 지표(Qwen2.5‑32B, GPT‑4o 등)는 프롬프트 설계와 온도 설정에 따라 편향이 발생했다. RM‑기반 모델은 보상 학습 데이터와 도메인 불일치로 인해 인간 판단과의 상관관계가 낮았다. LRM‑기반(예: o1‑mini, DeepSeek‑R1)도 복잡한 추론 과정에서 핵심 사실을 놓치는 경향을 보였다. 학습 기반 평가(Auto‑J‑6B‑bilingual, Prometheus‑7B) 역시 레퍼런스와의 직접 매칭이 아닌 임베딩 거리 측정에 의존해, 정보량이 풍부한 장문에서 정확도와 F1 점수가 크게 떨어졌다.

전체 평균 정확도는 인간 베이스라인(≈77 %)에 비해 최고 지표인 Auto‑J‑6B‑bilingual(≈66 %)조차 10 %포인트 이하로 뒤처졌다. 특히 “tie” 옵션을 포함한 3‑choice 평가에서 자동 지표는 과도하게 한쪽을 선호하거나 무작위 선택에 가까운 결과를 보였다. 실패 사례 분석에서는 (1) 핵심 사실 누락, (2) 과잉 상세화로 인한 잡음, (3) 레퍼런스와의 어휘·구조 차이로 인한 매칭 오류가 주요 원인으로 지목되었다.

일반화 실험에서는 영어와 중국어 데이터 간 교차 평가를 수행했으며, 대부분의 지표가 언어 전이에서 성능 저하를 겪었다. 이는 현재 LLM‑기반 평가가 언어‑특정 프롬프트와 사전학습 데이터에 크게 의존한다는 점을 시사한다. 또한, 데이터 오염 방지를 위해 최신 시험 문제와 최근 포럼 글만 사용했으며, 오염 테스트에서 기존 벤치마크 대비 15 % 낮은 오염율을 기록했다.

마지막으로 저자들은 TTRL(텍스트‑투‑리워드‑러닝) 기법을 적용해 RM‑기반 지표를 미세조정했지만, 아직 인간 수준에 도달하기엔 부족함을 인정한다. 전체적으로 LFQA‑E는 장문 QA 평가의 신뢰성을 크게 향상시키는 동시에, 현재 자동 지표들의 근본적인 한계를 명확히 드러내는 중요한 리소스로 평가된다.