인과관계 기반 다중 에이전트 코드 생성 시스템 분석 프레임워크 CAM

초록

CAM은 다중 에이전트 코드 생성 시스템(MACGS)의 중간 출력들을 구조화된 특징으로 변환하고, 실제 인과관계 분석을 통해 각 특징이 최종 코드 정확도에 미치는 기여도를 정량화한다. 특징 중요도 순위를 기반으로 컨텍스트 의존적 특징, 하이브리드 백엔드 설계, 오류 복구 및 토큰 절감 등 실용적인 인사이트를 제공한다.

상세 분석

본 논문은 MACGS가 생성하는 방대한 중간 출력이 시스템 전반의 신뢰성을 저해한다는 문제를 인과관계 분석으로 해결하고자 한다. 먼저 저자들은 중간 출력을 “특징(feature)”이라는 구조화된 변수 집합으로 분류한다. 여기에는 계획 단계의 요구사항 요약, 알고리즘 설계, 구현 세부사항, 프로그래밍 언어 선택 등 다양한 관점이 포함된다. 이러한 특징들을 정점으로 하는 DAG 형태의 인과 그래프를 구축하고, 실제 인과관계(actual causality)의 AC1‑AC3 조건을 적용해 원인‑결과 관계를 정의한다.

핵심 기술은 두 가지이다. 첫째, LLM 기반의 카운터팩추얼 인터벤션을 통해 각 특징에 현실적인 오류(예: 문법 오류, 부정확한 요구사항) 를 주입하고, 그 결과가 최종 코드 성공 여부에 미치는 영향을 관찰한다. 둘째, 인플루언스 셋(influence set) 개념을 도입해 오류 전파 경로를 효율적으로 탐색한다. 이는 다중 에이전트가 자체 교정(self‑correction) 능력을 가짐을 고려해 불필요한 상태 탐색을 크게 줄이며, 계산 비용을 토큰 수 기준으로 10⁴ 수준에서 실용적인 수준으로 낮춘다.

실험에서는 MetaGPT 등 대표적인 MACGS를 여러 백엔드 LLM(GPT‑4o, Qwen‑2.5‑Coder, DeepSeek‑Coder‑V2)과 데이터셋에 적용했다. 특징 중요도는 Kendall τ 0.76‑0.91의 높은 상관성을 보이며 인간 전문가 평가와 일치한다. 특히 컨텍스트 의존적 특징이 전체 사례의 78.8%에서 다른 특징과 동시에 변형될 때만 영향을 미치는 것으로 밝혀져, 단일 모듈 검증을 넘어 교차‑특징 일관성 검사가 필요함을 시사한다. 또한, 서로 다른 백엔드 LLM을 단계별로 할당하는 하이브리드 아키텍처가 Pass@1을 최대 7.2% 향상시키는 효과를 보였다.

CAM을 활용한 두 가지 응용도 제시된다. (1) 상위 3개 중요 특징만을 수정해 실패 복구를 시도했을 때 73.3%의 성공률을 달성했으며, (2) 중요도가 낮은 특징을 제거해 중간 토큰 소비를 최대 66.8% 절감하면서도 성능 저하가 없었다. 이러한 결과는 인과관계 기반 분석이 MACGS 설계·배포 단계에서 실질적인 최적화 도구가 될 수 있음을 입증한다.