LLM 활성 정렬: 내시 균형을 통한 다중 에이전트 행동 설계

초록

본 논문은 대형 언어 모델(LLM) 집단을 인간 서브팝을션 혼합 전략으로 모델링하고, 볼록 효용 가정 하에 내시 균형(Nash Equilibrium)을 폐쇄형으로 구해 행동을 예측·조정하는 게임이론적 프레임워크를 제시한다. 사회·미디어 환경에서 발생할 수 있는 ‘정치적 배제’ 현상을 분석하고, 활성 정렬 레이어를 통해 모든 서브팝을션이 균등히 반영되도록 설계 방법을 제공한다.

상세 분석

이 연구는 LLM을 단순한 텍스트 생성기라 보기보다, 인간 의견 집단을 대상으로 전략적 선택을 하는 ‘에이전트’로 재정의한다. 핵심 아이디어는 각 LLM이 ‘서브팝을션 가중치 벡터 w ∈ Δ_D’를 선택함으로써, D개의 인간 서브그룹 각각에 대해 사전 학습된 서브모델 ν_d(y|x) 의 출력을 혼합한다는 점이다. 이렇게 하면 텍스트 수준의 거대한 정책 공간을 D차원의 단순한 확률 단순체로 압축할 수 있어, 내시 균형 계산의 NP‑hard성을 회피한다는 실용적 장점이 있다.

효용 함수는 세 가지 요소로 구성된다. 첫째, Attractiveness u_A = aᵀw는 서브그룹의 인구 비율 a_i 에 비례해 주목을 얻는 기대치를 나타낸다. 이는 기존 확산·영향력 모델(Kempe et al.)과 일치한다. 둘째, Consistency u_I = ‑wᵀCw는 서로 의견이 상충하는 서브그룹을 동시에 선택했을 때 발생하는 내부 모순을 페널티화한다. C 행렬은 각 서브모델 간의 평균 차이를 기반으로 구성되며, Gershgorin 원판 정리를 이용해 양의 반정밀성을 보장한다. 셋째, Diversity u_D = ‑∑_{j≠m}⟨w_m,w_j⟩는 에이전트 간 전략 중복을 억제한다. 이는 WᵀW‑I의 Frobenius norm을 최소화하는 것과 동등하게 해석될 수 있다.

이 세 효용을 선형 결합한 u_m = β_A aᵀw_m ‑ β_I w_mᵀCw_m ‑ β_D ∑_{j≠m}⟨w_m,w_j⟩는 볼록 게임(concave game) 형태를 이루며, 각 플레이어의 최적 반응은 단순히 라그랑주 승수와 KKT 조건을 풀어 얻을 수 있다. 저자는 이를 이용해 폐쇄형 해, 즉 모든 w_m이 동일한 가중치 벡터 w* 를 공유하는 대칭 균형을 도출하고, β 파라미터 조정을 통해 ‘정치적 배제’를 방지하는 설계 원칙을 제시한다.

실험에서는 소셜 미디어 시뮬레이션을 구축해, 추론 중심 모델(Qwen3‑4B‑Thinking 등)이 다른 모델보다 특정 서브그룹을 완전히 무시하는 현상을 관찰했다. 이는 효용의 β_A / β_I  비율이 높아질 때, 즉 ‘주목’ 목표가 과도하게 강조될 때 발생한다. 활성 정렬 레이어는 β_D를 강화하거나 C 행렬을 재설계해 일관성을 높임으로써, 모든 서브그룹이 최소한의 가중치를 확보하도록 강제한다.

이론적 기여는 두드러진다. (1) 서브팝을션 기반 전략 공간을 도입해 텍스트 정책의 차원을 실질적으로 축소, (2) 볼록 효용 가정 하에 내시 균형을 폐쇄형으로 구해 계산 복잡도를 크게 낮춤, (3) 기존 RLHF·RLAIF 파이프라인 위에 ‘활성 정렬’ 레이어를 겹쳐, 개별 모델 정렬이 아닌 시스템‑레벨 정렬을 가능케 함.

하지만 몇 가지 한계도 존재한다. 서브그룹 라벨링이 정확하고 충분히 대표적이어야 한다는 전제는 현실 데이터에서 흔히 위배될 수 있다. 또한 효용 파라미터 β는 플랫폼 정책에 따라 급변할 수 있어, 동적 환경에서 균형을 지속적으로 재계산해야 하는 부담이 있다. 마지막으로, 다중 라운드 상호작용이나 비볼록 효용(예: 급격한 포화 효과)에서는 현재의 폐쇄형 해가 적용되지 않을 가능성이 있다. 이러한 점들을 보완하기 위해서는 서브그룹 자동 추출, 베이지안 효용 추정, 그리고 동적 게임 이론을 결합한 확장 연구가 필요하다.