진화하는 해석 가능한 헌법으로 다중 에이전트 협업 최적화

초록

본 논문은 다중 LLM 에이전트가 겪는 사회적 갈등과 협력 문제를 해결하기 위해, 헌법(규칙) 자체를 진화시켜 최적의 행동 규범을 자동으로 발견하는 프레임워크를 제안한다. 6×6 격자 세계에서 자원 수집·프로젝트 완수·생존 압력을 동시에 겪게 한 뒤, 사회 안정성 점수 S(생산성, 생존율, 갈등을 종합)로 평가한다. 인간이 만든 “도움·무해·정직” 규칙과 Claude 4.5가 설계한 규칙은 각각 S=0.249, 0.332에 머물렀지만, LLM 기반 유전 프로그래밍으로 진화시킨 규칙 C*는 S=0.556 ± 0.008을 달성해 123 % 향상하였다. 흥미롭게도 최적 규칙은 의사소통을 최소화하고 일관된 행동으로 암묵적 협력을 이끌어냈다.

상세 분석

이 연구는 기존 헌법 AI가 단일 모델에 대한 정적 원칙을 적용하는 한계를 명확히 짚고, 다중 에이전트 환경에서 발생하는 전략적 인센티브와 사회적 외부효과를 규칙 설계 단계에서 직접 다루는 새로운 접근법을 제시한다. 핵심 기여는 다음과 같다. 첫째, 헌법을 “옵티마이즈 가능한 객체”로 정의하고, 자연어 규칙 집합을 유전 연산(변이·교배)으로 탐색한다는 점이다. 규칙은 이름·설명·우선순위로 구성돼, 에이전트가 상황에 맞게 가장 높은 우선순위 규칙을 적용하도록 설계돼 있어 해석 가능성이 높다. 둘째, 사회 안정성 점수 S를 생산성 P, 생존율 V, 갈등 C의 가중합으로 정량화함으로써 다중 목표를 단일 스칼라로 압축한다. α=0.5, β=0.3, γ=0.2라는 가중치는 생산성을 주도하되, 생존과 협력을 충분히 보상하도록 설계돼 있다. 셋째, 다중 섬(multi‑island) 진화 구조를 도입해 탐색 다양성을 유지한다. 각 섬은 독립적인 인구를 갖고 5세대마다 상위 20 %를 교환함으로써 지역 최적에 빠지는 위험을 감소시키고, 서로 다른 규칙 조합이 교차하도록 만든다. 넷째, 실험 환경은 6×6 격자, 6명의 LLM 에이전트, 두 팀(쉘터·마켓)으로 구성돼, 자원 수집·프로젝트 완수·주기적 “감시자” 제거라는 세 가지 압력을 동시에 부여한다. 특히 감시자는 매 10턴마다 기여도가 가장 낮은 에이전트를 제거하므로, 절대적 성과보다 상대적 순위가 생존에 결정적 영향을 미친다. 이는 전통적인 사회 딜레마와 유사하지만, LLM 에이전트가 자연어 규칙을 해석·실행한다는 점에서 새로운 차원의 전략적 복잡성을 만든다. 실험 결과, 인간이 만든 HHH(Helpful‑Harmless‑Honest) 규칙은 S=0.249에 그쳤으며, Claude 4.5가 설계한 규칙도 S=0.332에 불과했다. 반면, LLM‑구동 유전 프로그래밍으로 진화된 C*는 S=0.556 ± 0.008을 기록했으며, 특히 갈등 행동을 0 %로 억제하고, 전체 사회 행동 중 0.9 %만이 의사소통(메시지 전송)으로 나타났다. 이는 “많은 대화보다 일관된 행동이 협력을 촉진한다”는 역설적 통찰을 제공한다. 마지막으로, 규칙 집합 자체가 해석 가능하도록 설계돼 있어, 정책 입안자나 연구자가 어떤 규칙이 협력을 유도하고 어떤 규칙이 갈등을 유발하는지 직접 검증할 수 있다. 전체적으로 이 논문은 다중 LLM 에이전트 사회에서 규칙을 자동으로 진화시켜 사회 복지를 극대화하는 방법론을 제시함으로써, 정적 윤리 원칙을 넘어 동적·사회적 최적화를 가능하게 하는 중요한 전환점을 제공한다.