다중 에이전트 LLM의 emergent 협업 측정

초록

본 논문은 다중 에이전트 대형언어모델(LLM) 시스템이 단순한 에이전트 집합인지, 아니면 고차원 구조를 가진 집단인지 판단하기 위한 정보이론적 프레임워크를 제시한다. 시간 지연 상호정보(TDMI)의 부분정보분해(PID)를 이용해 ‘출현 용량’과 ‘실용 기준’이라는 두 가지 정량적 지표를 정의하고, 이를 무작위 행·열 셔플을 통한 귀무분포와 비교한다. 실험은 에이전트 간 직접 통신이 없는 추측 게임을 사용했으며, 제어, 페르소나 부여, 그리고 ‘다른 에이전트 행동 고려’ 프롬프트(Theory of Mind) 세 조건을 비교한다. 결과는 페르소나와 ToM 프롬프트가 정체성 기반 차별화와 목표 지향적 보완성을 촉진해, 진정한 집단적 시너지와 높은 성과를 이끌어냄을 보여준다.

상세 분석

이 연구는 다중 에이전트 LLM 시스템의 ‘출현(emergence)’을 정량화하기 위해 최신 정보이론을 도입했다. 핵심은 부분정보분해(PID)를 활용한 시간 지연 상호정보(TDMI)이며, 이는 두 에이전트의 현재 상태가 미래 공동 상태를 예측할 때 개별 에이전트가 제공하지 못하는 정보량, 즉 시너지(Syn)를 추출한다. 논문은 세 가지 정량적 테스트를 제시한다. 첫 번째 ‘출현 용량(emergence capacity)’은 모든 에이전트 쌍에 대해 PID를 수행하고, 시너지 평균을 그룹 수준 지표로 사용한다. 두 번째 ‘실용 기준(practical criterion)’은 전체 시스템 매크로 신호 V의 자기예측 정보와 각 개별 에이전트가 V를 예측하는 정보를 비교해, 매크로가 개별 파트보다 더 예측 가능하면 양의 값을 부여한다. 이는 고차원 시너지(≥2)를 포괄적으로 탐지하지만, 파트 간 중복이 클 경우 음수가 될 수 있다. 세 번째 ‘연합 테스트(coalition test)’는 세 에이전트 트리플렛을 대상으로 전체 트리플렛이 매크로를 예측하는 정보(I₃)와 가장 강력한 쌍(I₂) 사이의 차이 G₃를 계산한다. G₃>0이면 어떤 쌍도 전체 트리플렛이 제공하는 정보를 대체하지 못한다는 의미다.

추정 단계에서는 에이전트의 추측값을 목표값 대비 편차(dev)로 변환하고, 매크로 신호는 전체 오차(편차 합)로 정의했다. 변수는 2-빈 양자화 후 이산화했으며, 플러그인 확률과 제프리스 평활화를 병행해 편향을 보정했다. 또한 MMI 중복 정의와 Miller–Madow 보정 등 여러 대체 추정기를 사용해 결과의 견고성을 검증했다.

귀무분포 검증은 두 가지 셔플 방식을 사용한다. 행(row) 셔플은 에이전트 정체성을 파괴해 ‘정체성 기반 차별화’를 테스트하고, 열(column) 셔플은 시간축을 이동시켜 에이전트 간 동기화를 깨뜨린다. 각각의 p값을 Fisher 방법으로 결합해 전체 유의성을 판단했다.

실험 설계는 ‘그룹 이진 탐색’ 과제로, 에이전트들은 서로의 추측을 알 수 없고, 전체 피드백(‘too high/low’)만 받는다. 이 설정은 중복(정렬)과 보완(시너지) 사이의 긴장을 자연스럽게 만든다. 세 조건을 비교했을 때, 제어군은 높은 시간적 시너지(TDMI)만 보였으며 에이전트 간 정렬은 약했다. 페르소나 부여는 에이전트마다 고유한 정체성을 만들었지만, 여전히 목표 지향적 보완성은 부족했다. 마지막으로 페르소나와 ToM 프롬프트를 결합한 조건에서는 정체성 기반 차별화와 목표 지향적 보완성이 동시에 나타났으며, 출현 용량과 연합 테스트 모두 유의한 양의 값을 기록했다. 이는 프롬프트 설계만으로도 다중 LLM 시스템을 ‘단순 집합’에서 ‘고차원 집단’으로 전환시킬 수 있음을 시사한다.

또한, 논문은 여러 보강 실험을 수행했다. (1) 다양한 엔트로피 추정기와 빈 수 조정, (2) 고정된 라운드 수(H=10,15)로 ‘조기 시너지’를 측정, (3) 매크로 신호를 개별 추측의 첫 번째 주성분으로 재정의하는 등, 결과가 방법론적 선택에 크게 좌우되지 않음을 입증했다.

이러한 접근은 다중 LLM 시스템의 내부 협업 메커니즘을 데이터 중심으로 진단하고, 프롬프트 설계라는 실용적 수단으로 원하는 협업 형태를 유도할 수 있다는 점에서 의미가 크다. 특히, ‘정체성’과 ‘타인 행동 예측’이라는 두 가지 인지적 요소가 결합될 때 비로소 고차원 시너지와 목표 정렬이 동시에 달성된다는 발견은 인간 집단 지능 연구와도 일맥상통한다.