다양한 LLM 협업으로 계획 탐색을 혁신한 SYMPHONY

초록

SYMPHONY는 이질적인 대형 언어 모델(LLM)들을 풀(pool)로 구성해 몬테카를로 트리 탐색(MCTS)과 결합한 다중 에이전트 계획 프레임워크이다. 서로 다른 사전학습 데이터와 추론 스타일을 가진 모델들을 UCB 기반 스케줄러와 엔트로피‑조정 신뢰 점수(EMCS)로 동적으로 할당하고, 실패 경험을 자연어 형태의 반성 메모리로 공유한다. 실험 결과 HotpotQA, WebShop, MBPP 등 세 가지 벤치마크에서 오픈소스 모델만 사용해도 기존 단일‑모델 기반 방법보다 높은 정확도와 적은 노드 확장을 달성했으며, 클라우드 LLM을 추가하면 최첨단 수준을 넘어섰다.

상세 분석

SYMPHONY의 핵심 혁신은 ‘이질적인 LLM 에이전트 풀’이다. 기존 연구들은 하나의 거대 모델을 여러 번 호출해 stochastic sampling으로 다양성을 확보하려 했지만, 실제 출력은 동일한 추론 패턴에 수렴해 탐색 폭이 제한되는 문제가 있었다. SYMPHONY는 서로 다른 사전학습 코퍼스와 구조적 특성을 가진 여러 LLM을 동시에 운영함으로써, 각 노드에서 구조적·내용적 다양성을 자연스럽게 주입한다. 이를 위해 저자들은 Upper Confidence Bound( UCB ) 원리를 다중 팔 밴딧 문제에 적용해 에이전트 선택을 동적으로 조정한다. 에이전트마다 누적 보상 ¯Q와 호출 횟수 N을 추적해, 높은 평균 보상을 보인 모델은 더 많이 활용하고, 아직 충분히 탐색되지 않은 모델은 탐색 보너스를 받아 활용된다. 이는 탐색‑활용 균형을 수학적으로 보장한다.

또 다른 중요한 구성 요소는 Entropy‑Modulated Confidence Scoring(EMCS)이다. 각 에이전트가 생성한 롤아웃에 대해 출력 토큰의 엔트로피를 측정해 불확실성을 정량화하고, 이를 가치 추정에 가중치로 적용한다. 높은 엔트로피(불확실) 영역은 보수적으로 평가되어 과신을 방지하고, 낮은 엔트로피 영역은 신뢰도가 높아 가치 전파에 더 큰 영향을 미친다. 이는 전통적인 MCTS가 가정하는 ‘정확한 시뮬레이션’이 불가능한 LLM 기반 환경에서 안정적인 가치 업데이트를 가능하게 한다.

SYMPHONY는 또한 풀‑와이드 메모리 공유 메커니즘을 도입한다. 롤아웃이 실패하면 선택된 에이전트가 자연어 형태의 ‘반성’(reflection)을 생성하고, 이를 모든 에이전트의 프롬프트에 삽입한다. FIFO 버퍼로 관리되는 이 메모리는 파라미터 업데이트 없이도 모델 간 지식 전이를 촉진한다. 저자들은 이 메커니즘이 에이전트 간 협업을 강화하고, 동일한 오류를 반복하는 확률을 크게 낮춘다고 주장한다.

실험에서는 HotpotQA(다중 홉 QA), WebShop(시퀀셜 의사결정), MBPP(코드 생성) 세 가지 도메인에서 오픈소스 LLM(예: Llama‑2, Mistral)만 사용했을 때도 단일‑모델 기반 베이스라인보다 평균 3‑5%p 높은 정확도를 기록했다. 클라우드 API 모델(GPT‑4o 등)을 추가하면 정확도 향상이 7‑10%p에 달했으며, MCTS 노드 확장 수는 30% 이상 감소했다. Ablation 연구에서는 UCB 스케줄링을 제거하거나 EMCS를 비활성화하면 성능이 급격히 떨어짐을 확인했다.

한계점으로는 에이전트 풀 규모가 커질수록 프롬프트 전송 비용과 레이턴시가 증가한다는 점, 그리고 현재 메모리 공유가 단순 FIFO이므로 오래된 유용한 반성이 사라질 위험이 있다는 점을 들 수 있다. 향후 연구에서는 비용‑효율적인 에이전트 샘플링, 메모리 관리 최적화, 그리고 비정형 환경(예: 실시간 로봇 제어)으로의 확장을 제안한다.