다중 에이전트 LLM 추론을 위한 정렬 위임 프레임워크

초록

ALIGN은 여러 LLM 에이전트가 후보 답안을 생성하고, 중앙 프린시플이 순위를 매겨 최종 답을 선택하도록 설계된 게임‑이론 기반 프레임워크이다. 온라인 미러 디센트를 이용해 에이전트 정책을 반복적으로 업데이트함으로써, 동일한 샘플 수를 가진 단일‑에이전트 방식보다 기대 성능이 반드시 향상된다는 이론적 보장을 제공한다. 실험 결과는 수학, 계획, 상식 등 다양한 추론 벤치마크에서 기존 단일‑에이전트 및 전통적인 앙상블 방법을 지속적으로 능가함을 보여준다.

상세 분석

ALIGN은 LLM 추론을 “정렬 위임 게임”으로 모델링한다. 여기서 프린시플은 사용자 목표에 부합하는 전역 유틸리티 U를 정의하고, N개의 에이전트는 각각 자체 유틸리티 U_yi(·)에 기반해 후보 집합 A_i를 생성한다. 각 에이전트는 내부 유틸리티와 프린시플이 부여하는 순위 보상 r_i를 곱한 보상 U_i = r_i·U_yi 를 최대화하도록 정책 π_i를 학습한다. 논문은 이 과정을 온라인 미러 디센트, 즉 Hedge 알고리즘과 동일한 지수 가중 업데이트 형태로 구현함으로써 탐색‑활용 균형을 유지한다는 점을 강조한다.

이론적 분석에서는 (1) 파레토 최적 플레이, (2) 에이전트 간 대칭성, (3) 비음성 상관 관계라는 세 가지 가정을 두고, 동일한 총 샘플 수 k (단일‑에이전트)와 ∑k_i = k (다중‑에이전트) 조건 하에 다중‑에이전트 시스템이 기대 유틸리티 U(M′) ≥ U(M) 을 만족함을 증명한다. 특히, 에이전트가 자신의 최적 답안보다 최대 2ε 만큼 낮은 유틸리티를 허용하면, ε ≤ 1 − e^{−N²/(2(N−1)²)}인 근사 베이즈‑내시 균형이 존재하고, 프린시플은 최적 답안의 기대 유틸리티 E