SpecEM: 대규모 언어 모델을 위한 동적 가중치 앙상블 프레임워크

초록

SpecEM은 사전 학습 없이 여러 LLM을 동시에 활용해 텍스트를 세그먼트 단위로 초안(drafting)하고 검증(verification)하는 반복 과정을 통해 결과를 통합한다. 검증 단계에서 각 모델의 점수를 가중합하고, 온라인 피드백 메커니즘으로 모델별 가중치를 실시간 업데이트해 성능이 높은 모델에게 더 큰 영향력을 부여한다. 실험 결과 7B~72B 규모의 5개 모델군과 6개 베치마크에서 기존 앙상블 기법보다 일관된 성능 향상을 보였다.

상세 분석

SpecEM은 기존 LLM 앙상블이 갖는 두 가지 주요 문제—첫 토큰 지연(first‑token delay)과 모델 간 장기 의미 협업의 부재—를 해결하기 위해 ‘초안‑검증(drafting‑verification)’ 루프를 도입한다. 초안 단계에서는 모든 베이스 모델이 동일한 프롬프트와 이전 라운드에서 선택된 최상의 세그먼트를 입력으로 받아 사전 정의된 최대 길이 L 만큼의 후보 텍스트를 병렬 생성한다. 검증 단계에서는 각 모델이 모든 후보 세그먼트에 대해 토큰‑레벨 로그잇 평균을 점수(s)로 계산하고, 이를 정규화한 뒤 가중합(y)으로 종합한다. 여기서 가중치는 온라인 피드백 메커니즘에 의해 동적으로 조정된다.

온라인 피드백은 ‘모델 i가 생성한 후보가 다른 모델들의 검증 점수에서 얼마나 자주 우위에 서는가’를 보상(γ)으로 정의하고, 멀티플리케이티브 가중치 업데이트 ωₖᵢ = ωₖ₋₁ᵢ·e^{η·γₖᵢ} 를 적용한다. 학습률 η는 라운드 수 k와 모델 수 N에 따라 η = α·√(1/k)/N 로 스케일링되어 초기 가중치가 너무 작아지는 현상을 완화한다. 이렇게 얻어진 가중치는 매 라운드마다 정규화돼 전체 합이 1이 되도록 유지한다.

SpecEM은 검증 효율성을 위해 ‘verify‑in‑line’ 메커니즘을 설계했다. 모든 후보 세그먼트를 하나의 연속 시퀀스로 연결하고, 각 모델이 자신에게 할당된 후보만을 볼 수 있도록 어텐션 마스크와 포지션 ID를 조정한다. 이 설계는 후보별 독립적인 평가를 보장하면서도 GPU 메모리와 연산량을 크게 절감한다.

실험에서는 7B, 13B, 34B, 40B, 72B 규모의 다섯 모델군을 선택해, 오픈‑도메인 인스트럭션, 추론, 상식 등 여섯 데이터셋에 적용했다. 평균적으로 기존 ‘generate‑then‑ensemble’(예: MBR, GenFuse)와 ‘ensemble‑while‑generation’(예: UniTE, EV‑A) 방식보다 1.2~2.5%의 정확도·점수 향상을 기록했으며, 특히 모델 간 성능 격차가 큰 상황에서 온라인 가중치 조정이 큰 효과를 보였다. Ablation 실험을 통해 (1) 검증 단계에서 단순 평균 가중치 대신 동적 가중치를 사용했을 때의 이득, (2) verify‑in‑line 어텐션 마스크 없이 전체 시퀀스를 평가했을 때의 연산 비용 증가와 성능 저하를 확인했다.

한계점으로는 세그먼트 길이 L과 라운드 수 k에 대한 하이퍼파라미터 민감도가 존재하며, 매우 긴 응답을 요구하는 작업에서는 라운드 수가 늘어나면서 지연이 발생할 수 있다. 또한 현재 보상 정의는 ‘다수결’에 기반하므로, 특정 도메인에서 한 모델이 지속적으로 우수하지만 다른 모델에 의해 억제되는 상황이 있을 수 있다. 향후 연구에서는 보상 함수를 더 정교화하고, 라운드 별 적응형 L 설정을 도입해 효율성을 높이는 방향이 제시된다.

요약하면 SpecEM은 ‘초안‑검증’ 루프와 온라인 멀티플리케이티브 가중치 업데이트를 결합해, 훈련 없이도 다양한 규모와 특성을 가진 LLM들을 효과적으로 협업시킬 수 있는 실용적인 앙상블 프레임워크를 제공한다.