다중 에이전트 토론을 위한 동적 컨텍스트 학습

초록

M2CL은 각 LLM 에이전트마다 컨텍스트 생성기를 학습시켜 토론 라운드마다 자동으로 컨텍스트를 조직·정제한다. 초기에는 서로 직교하는 다양한 컨텍스트를 부여하고, 이후 자기조정 메커니즘으로 일관성을 유지하면서 ‘다수의 잡음’에 조기 수렴하는 것을 방지한다. 9개의 벤치마크에서 기존 MAD 방법보다 20 %‑50 % 성능 향상을 달성했으며, 계산 비용도 10 % 이하로 증가한다.

상세 분석

본 논문은 다중 LLM이 협업하는 Multi‑Agent Discussion(MAD)에서 발생하는 “컨텍스트 불일치” 문제를 이론적·실험적으로 분석한다. 저자들은 먼저 컨텍스트가 LLM 내부의 어텐션 활성화에 미치는 영향을 정량화한 정리 4.1을 제시한다. 이 정리는 (1) 라운드별 컨텍스트가 서로 다른 LLM 사이의 활성화 거리와 초기 컨텍스트와의 편차를 최소화해야 일관된 추론이 가능함을, (2) 초기 컨텍스트가 서로 직교(orthogonal)할수록 올바른 정답 활성화에 대한 근사 가능성이 높아진다는 두 가지 핵심 요인을 도출한다. 이를 기반으로 M2CL은 두 단계 설계—초기화와 진화—를 채택한다. 초기화 단계에서는 라티스 공간에서 서로 거의 직교하도록 임베딩된 다양한 프롬프트를 자동 생성해 각 에이전트가 서로 다른 관점을 갖게 한다. 진화 단계에서는 각 라운드마다 “컨텍스트 생성기 Gθi”를 통해 현재 목표 P, 초기 프롬프트 Ib_i, 그리고 이전 라운드의 응답 집합 (\bar{X}_{t-1}^i)를 입력으로 받아 동적으로 새로운 컨텍스트 I_t^i를 산출한다.

핵심 메커니즘은 “자기‑조정 균형 메커니즘”이다. 이 메커니즘은 (a) 컨텍스트 간 코히런스(즉, 어텐션 활성화의 유사도)를 측정해 과도한 일치가 감지되면 컨텍스트를 의도적으로 다변화하고, (b) 출력 간 차이(embedding distance)를 모니터링해 다수의 잡음에 조기 수렴하는 현상을 억제한다. 구체적으로, 각 라운드마다 L2 거리와 코사인 유사도를 혼합한 손실 함수를 최소화하도록 Gθi를 업데이트한다. 이 과정은 라운드마다 독립적으로 수행되며, LLM 자체 파라미터(ϕ_i)는 고정된 상태에서 프롬프트 수준의 조정만을 수행한다는 점에서 효율적이다.

학습은 두 단계로 나뉜다. 첫 번째 단계는 “경량 초기화”로, 사전 학습된 임베딩 클러스터링을 이용해 서로 직교하는 초기 프롬프트 집합을 샘플링한다. 두 번째 단계는 “컨텍스트 진화 학습”으로, 대규모 멀티턴 토론 데이터를 이용해 강화학습 기반의 보상(정답 일치율, 컨텍스트 코히런스, 출력 차이 감소)을 정의하고, 정책 그래디언트 방식으로 Gθi를 최적화한다.

실험에서는 9개의 베치마크(수학 증명, 과학 논문 요약, 로봇 조작, 모바일 GUI 제어 등)와 다양한 LLM(Claude‑2, GPT‑4, LLaMA‑2‑70B)를 사용했다. 결과는 (1) 정확도 측면에서 기존 Debate, Self‑Consistency, Auto‑Debate 등과 비교해 평균 34 % 향상, (2) 라운드당 평균 실행 시간 0.12초 증가(전체 오버헤드 <10 %)를 보였다. 특히 GUI 제어와 같은 고차원 행동 공간에서는 45 % 이상의 성능 상승을 기록했다. 또한, 학습된 컨텍스트 생성기는 다른 LLM 아키텍처에 그대로 전이했을 때도 5‑7 %의 추가 이득을 제공, 모델‑독립적 일반화 가능성을 입증했다.

이 논문은 “컨텍스트 자체를 학습 대상”으로 삼음으로써, 기존 MAD가 겪던 ‘다수의 잡음에 휘둘리는’ 문제를 근본적으로 해결한다는 점에서 의미가 크다. 다만, 현재 구현은 라운드당 단일 컨텍스트 생성기에 의존하므로, 복잡한 멀티모달 토론(예: 이미지·텍스트 동시)에서는 추가적인 모듈 설계가 필요할 것으로 보인다.