LLM 앙상블 선택 최고 성능 모델만 고집하면 안 된다

초록

LLM을 여러 개 결합해도 모델 간 오류가 강하게 상관될 경우 단순히 정확도가 높은 모델만 고르는 것이 최적이 아니다. 저자는 상호정보량을 최대화하는 예산 제한 앙상블 선택을 제안하고, Gaussian‑copula 로 오류 상관을 모델링해 정보‑이론적 한계와 포화 현상을 분석한다. 제안된 탐욕적 MI 선택 알고리즘은 질문‑답변 및 감성 분석 데이터셋에서 기존 Top‑k 기반 방법보다 일관된 성능 향상을 보인다.

상세 분석

본 논문은 LLM 앙상블을 구성할 때 “가장 정확한 k개 모델을 선택”하는 직관적 방법이 오류 상관 때문에 비효율적일 수 있음을 이론적으로 입증한다. 먼저 모델들의 예측을 Y(정답)와의 상호정보량 I(Y;X_S) 로 정의하고, 예산 k 이하에서 이 값을 최대화하는 것이 목표임을 제시한다. 독립 오류 가정 하에서는 Theorem 4.1을 통해 I(Y;X_S)와 오류 확률 P_e(S) 가 모두 정확도 순서와 일치함을 증명, 즉 Top‑k 선택이 최적임을 확인한다. 그러나 실제 LLM은 동일한 학습 데이터·아키텍처를 공유해 오류가 강하게 상관되므로, 저자는 Gaussian‑copula 를 이용해 잠재 연속 변수 Z∼N(0,Σ) 로 오류 E_j 를 임계값 τ_j 로 이진화한다. 이 모델은 개별 정확도(마진)와 상관 행렬 Σ 를 분리해 표현함으로써, 서로 다른 모델 간 중복 정보를 정량화할 수 있다.

Theorem 4.3에서는 새로운 모델 j 를 기존 부분집합 S 에 추가할 때의 조건부 상호정보량 Δ(j|S)=I(Y;X_j|X_S) 를 네 개 항으로 분해한다. 첫 항 I(Y;X_j) 는 순수 정확도 기여, 두 번째 항 I(X_j;X_S) 는 기존 모델과의 중복(레드던시), 세 번째 항 I(E_j;E_S) 는 오류 패턴의 구조적 연관성, 마지막 Λ_j(S) 는 라벨 의존성 보정이다. 이 분해는 mRMR(최대 관련성‑최소 중복) 원리와 직접 연결되며, 탐욕적 선택이 “가장 많은 새로운 정보”를 제공하는 모델을 순차적으로 추가하도록 정당화한다.

또한, 모든 모델 간 상관계수가 동일한 equicorrelation 상황을 가정하면, Z_j = √ρ U + √(1‑ρ) ξ_j 형태의 일‑요인 모델로 변환된다. 이 경우 Theorem 4.4가 보여주는 바와 같이 k→∞ 로 모델 수를 늘려도 P_e(S) 가 ½ · erfc( (μ/σ)√(k ρ/(1‑ρ)) ) 와 같은 형태의 포화 한계에 수렴한다. 즉, 공유된 잠재 요인 U 로 인한 불확실성은 무한히 많은 모델을 추가해도 제거되지 않는다. 이는 실험에서 관찰된 “성능 포화” 현상을 이론적으로 설명한다.

알고리즘 측면에서 저자는 데이터로부터 직접 I(Y;X_j) 와 I(X_j;X_S) 등을 추정하고, 매 단계마다 Δ(j|S) 가 가장 큰 모델을 선택하는 탐욕적 절차를 제시한다. 추정은 샘플 기반 엔트로피/상호정보량 계산으로 구현되며, 계산 복잡도는 O(mk) 로 실용적이다. 실험에서는 MEDMCQA, MMLU, IMDB 세 데이터셋에 대해 동일한 query budget(k) 하에서 Top‑k, 가중 투표, MUSE, LLM‑TOPLA 등 강력한 베이스라인을 능가함을 보고한다. 특히 오류가 높은 상관을 보이는 GPT 계열 모델들 사이에서는 다양성을 확보한 모델 조합이 큰 이득을 가져왔으며, 이는 제안된 MI 기반 선택이 “정확도 + 다양성”을 동시에 최적화함을 실증한다.

전체적으로 논문은 (1) 오류 상관을 정량화하는 Gaussian‑copula 모델링, (2) 상호정보량 기반 선택의 이론적 정당성, (3) 포화 한계에 대한 정보‑이론적 분석, (4) 실용적인 탐욕적 알고리즘 제시라는 네 축을 통해 LLM 앙상블 설계에 새로운 패러다임을 제공한다. 향후 연구는 다중 클래스·다중 라벨 상황, 비정형 출력(텍스트) 에 대한 연속형 상호정보량 추정, 그리고 동적 예산 할당 전략으로 확장될 수 있다.