질문과 문맥의 상호정보량을 활용한 검색증강 생성 성능 예측 및 최적화

초록

본 논문은 질문과 검색된 문맥 사이의 점별 상호정보량(PMI)이 대형 언어 모델의 답변 정확도와 강한 양의 상관관계를 가진다는 사실을 실증한다. PMI를 프롬프트 설계 지표로 활용해 문서 순서를 최적화하거나 효율적인 프롬프트 재배열 알고리즘을 적용하면 NQ‑Open과 ELI5 데이터셋에서 다양한 최신 LLM(LLaMA‑2/3, Mistral, MPT)의 QA 성능을 유의미하게 향상시킬 수 있음을 보였다.

상세 분석

이 연구는 검색‑증강 생성(RAG) 환경에서 질문(q)과 컨텍스트(c) 사이의 점별 상호정보량(PMI) = log p(q|c) − log p(q)를 모델 성능의 프록시로 제안한다. 저자들은 먼저 PMI와 정답 a의 로그오즈비(log p(a|q,c)/(1‑p(a|q,c))) 사이에 선형 관계가 존재한다는 가설을 수학적으로 전개한다. 이를 위해 “정답이 컨텍스트에 포함돼 있을 때 질문이 컨텍스트에 의존한다”는 가정(Assumption 2.1)을 두고, 해당 가정 하에서 PMI가 상수 C(a,c)만큼 차이 나는 로그오즈비와 동등함을 증명한다(Prop 2.1).

실험은 두 QA 벤치마크(NQ‑Open, ELI5)와 다섯 종류의 오픈 LLM(LLaMA‑2, LLaMA‑3, LLaMA‑3.1, Mistral‑v0.3, MPT)을 대상으로 진행되었다. 각 질문‑문맥 쌍에 대해 모든 문서 순열을 완전 탐색하기는 불가능하므로, 순환군을 이용한 K개의 대표 순열만을 평가하였다. 결과는 크게 두 차원에서 분석된다. 첫째, 코퍼스 수준에서 PMI 평균을 tertile로 구분했을 때, 높은 PMI 구간에서 정확도·리콜이 현저히 상승한다는 점이다(Figure 3). 둘째, 인스턴스 수준에서는 골드 문서의 위치가 바뀔 때 PMI와 정확도가 거의 동일한 U‑shape 곡선을 그리며, 골드 문서가 처음이나 끝에 있을 때 PMI가 최대가 되고 성능도 최고가 된다(Figure 2).

이를 기반으로 두 가지 프롬프트 최적화 전략을 제안한다. 전략 1은 질문‑문맥 PMI를 직접 계산해 가장 큰 값을 주는 문서 순열을 선택하는 방법이다. 전략 2는 골드 문서가 앞·뒤에 위치하도록 하는 간단한 재배열 규칙을 적용해, 계산 비용을 크게 줄이면서도 전략 1에 근접한 성능 향상을 달성한다. 두 방법 모두 기존 순서(무작위 또는 원본) 대비 평균 정확도 향상을 2~5%p 정도 기록했으며, 특히 instruction‑tuned 모델에서 더 큰 이득을 보였다.

이 논문의 주요 기여는 (1) PMI가 RAG 환경에서 답변 정확도의 신뢰할 수 있는 지표임을 이론·실험적으로 입증한 점, (2) PMI 기반 순열 선택이 실제 QA 성능을 개선한다는 실증적 증거, (3) 계산 효율성을 고려한 두 단계의 프롬프트 최적화 알고리즘을 제시함으로써 실무 적용 가능성을 높인 점이다. 또한, 질문‑문맥 상관성을 확률적 관점에서 해석함으로써 향후 LLM‑기반 검색 시스템에서 프롬프트 설계와 문서 재정렬을 자동화하는 연구 방향을 제시한다.