LLM 성능 효율 평가와 통계적 신뢰구간 보장

초록

본 논문은 제한된 질문 예산 하에서 대규모 언어 모델을 빠르게 평가하기 위해, 과거 평가 데이터를 활용한 베이지안 팩터 모델과 하이브리드 활성 학습 정책을 결합한 Factorized Active Querying(FAQ) 방법을 제안한다. Proactive Active Inference(PAI)라는 유한 모집단 확장 기법을 통해 질문 선택 과정에서도 95% 수준의 빈도주의 커버리지를 유지한다. 실험 결과, 기존 균등 샘플링 대비 최대 5배 적은 질문으로 동일한 신뢰구간 폭을 달성한다.

상세 분석

FAQ는 세 가지 핵심 구성요소로 이루어진다. 첫째, 과거 모델‑질문 정답 행렬 H에 대해 로그-시그모이드 팩터 모델을 베이지안 방식으로 학습한다. 각 모델 i는 k‑차원 잠재 벡터 u_i, 각 질문 j는 v_j 로 표현되며, P(H_ij=1)=σ(u_iᵀv_j) 로 정의된다. 이 모델은 완전한 확률적 보장은 제공하지 않지만, 질문의 난이도 p̂_j와 모델‑질문 매칭을 추정하는 데 유용한 사전 정보를 제공한다. 학습은 관측된 엔트리만을 마스크하고 AdamW 최적화로 수행되며, 하이퍼파라미터 (k, λ) 는 교차 검증으로 선택된다.

둘째, 새로운 모델에 대해 질문 팩터 v_j는 고정하고, 모델 팩터 u는 가우시안 사전 N(û₀, Σ̂₀) 으로 초기화한다. 여기서 û₀, Σ̂₀ 는 과거 모델 팩터들의 평균·공분산이다. 질문을 하나씩 선택하고 정답 z_{I_t}를 관측하면, 라플라스 근사를 이용해 u 의 사후 평균·공분산을 순차적으로 업데이트한다. 구체적으로, 예측 확률 p̂_{t-1}^{I_t}=σ(û_{t-1}ᵀv_{I_t}) 와 가중치 ŵ=p̂(1-p̂) 를 사용해 Σ̂_t와 û_t를 갱신한다(식 3‑5). 이 과정은 O(k²) 복잡도로 실시간에 적용 가능하다.

셋째, FAQ는 Proactive Active Inference(PAI)라는 새로운 추정량을 도입한다. PAI는 각 라운드 t 에서
ϕ_t = (1/N_q)∑j p̂{t-1}^j + (z_{I_t} - p̂_{t-1}^{I_t}) / q_t(I_t)
로 정의된 보정 항을 평균해 θ̂_{n_b}= (1/n_b)∑_t ϕ_t 를 만든다. 여기서 q_t 는 현재 사후 정보를 기반으로 설계된 적응형 질문 선택 확률이다. PAI는 정답 z_j를 고정된 미지수로 두고, 질문 선택이 사전·사후 정보에만 의존하도록 함으로써, “샘플링 없이 라벨링”이라는 평가 현장에 맞는 결정론적 흐름을 유지한다.

이론적으로, 저자들은 삼각 배열 설정 하에 n_b→∞ 일 때 θ̂_{n_b}가 θ에 대해 무편향이며, 마팅게일 중심극한정리를 이용해 √n_b(θ̂_{n_b}−θ)/σ̂_{n_b} → N(0,1) 임을 증명한다(정리 3.1). 따라서 1−α 수준의 신뢰구간
θ̂_{n_b} ± z_{1−α/2}·σ̂_{n_b}/√n_b
가 빈도주의 커버리지를 보장한다. 또한, 이상적인 오라클 모델(질문 정답이 독립 베르누이(p_j)이라 가정)에서 분산 최소화 정책은 q*(j) ∝ p_j(1−p_j) 임을 보이며(정리 3.2), 실제 FAQ는 팩터 모델이 제공하는 p̂_j를 이용해 이와 유사한 정책을 근사한다.

실험에서는 두 개의 대규모 벤치마크(예: MMLU‑Pro, 기타 도메인‑특화 세트)를 사용해, 역사 데이터 누락 비율을 0%부터 80%까지 변화시키며 평가했다. FAQ는 균등 샘플링, 단순 베이스라인(무작위 활성 학습), 그리고 최신 AIPW 기반 방법과 비교했을 때, 동일한 신뢰구간 폭을 얻기 위해 필요한 질문 수가 평균 4.2배~5.0배 적었다. 특히, 질문 난이도 추정이 정확할수록 초기 몇 차례 질문만으로 모델 팩터가 빠르게 수렴해 전체 효율이 크게 향상되는 것이 관찰되었다. 커버리지 측면에서도 95% 신뢰구간이 실제 θ를 94.7%~95.3% 포함하는 등 이론적 보장을 실험적으로 확인했다.

마지막으로, 저자들은 4.4K 이상의 모델과 21.5K 이상의 질문을 포함하는 정제된 데이터셋과 전체 코드베이스를 공개함으로써, 재현 가능성과 향후 연구 확장을 적극 지원한다는 점을 강조한다.