다중 전문가 오케스트레이션의 인과 중요도와 구조적 역할 분리

초록

본 논문은 다중 LLM 전문가가 협업하는 시스템에서 오케스트레이션 정책을 명시적 계산으로 전환하고, 이를 ‘INFORM’이라는 해석 프레임워크로 분석한다. 라우팅 빈도와 실제 인과 기여도를 구분해 관계 중요도와 내재 중요도의 차이를 밝히며, 빈번히 선택되는 전문가가 반드시 핵심은 아니라는 사실을 실험적으로 입증한다. 또한 전문가 간 상호작용 토폴로지와 순서 결정이 비동기적으로 형성되고, 핵심 전문가를 마스킹하면 구조가 급격히 붕괴한다는 결과를 제시한다.

상세 분석

INFORM은 오케스트레이션을 두 개의 모듈, 즉 전문가 간 상호작용을 모델링하는 전이 행렬 C(x)와 전문가 선택을 담당하는 선택 분포 s(x)로 분해한다. 전이 행렬은 쿼리‑키 어텐션과 의미적 코사인 유사도를 결합해 각 전문가 간의 유향 가중치를 계산하고, 이를 그래프 형태로 해석한다. 여기서 ‘관계 중요도(Relational Importance)’는 각 전문가에 들어오는 전체 질량 u_j(x) 로 정의되며, 이는 해당 전문가가 다른 전문가들의 출력에 얼마나 자주 후속 단계로 연결되는지를 나타낸다. 반면 ‘내재 중요도(Intrinsic Importance)’는 선택 로그 확률에 대한 전문가 표현 h_i의 그래디언트 노름 ‖∇_{h_i} log P(E_i|x)‖₂ 로 측정한다. 이 두 지표를 비교함으로써 라우팅 빈도와 실제 인과 기여 사이의 불일치를 정량화한다.

실험에서는 동일한 8B 규모 모델을 기반으로 한 동질 전문가 10명과, 1B‑7B 규모 모델을 혼합한 이질 전문가 풀 두 가지를 구성하였다. GSM8K, HumanEval, MMLU 세 벤치마크에 대해 학습된 오케스트레이터를 적용했으며, 라우팅 신뢰도와 전문성 집중도가 훈련 초기에 서서히 형성되는 반면, 전문가 순서는 훈련 전반에 걸쳐 높은 변동성을 보였다. 특히, 라우팅 질량이 집중되는 ‘허브’ 전문가들은 관계 중요도는 높지만 그래디언트 기반 내재 중요도는 낮아, 실제 의사결정에 크게 기여하지 않음을 확인했다. 반대로, 라우팅 빈도가 낮은 전문가 중 일부는 내재 중요도가 높아 구조적 병목 역할을 수행한다.

타깃 마스킹 실험에서는 가장 내재 중요도가 높은 전문가를 제거했을 때 전이 행렬의 KL 발산이 5.5배 이상 증가하고, 순서 분포의 변동도 크게 나타났다. 반면, 가장 자주 라우팅된 전문가를 마스킹해도 구조적 붕괴는 미미했다. 이는 INFORM이 단순 정확도 지표를 넘어 인과적 의존 관계와 네트워크 구조를 포착한다는 강력한 증거이다. 또한, 온도 변이를 통한 디코딩 다양성 조절이 전문가 간 상호작용 토폴로지를 풍부하게 만들지만, 인과 중요도와는 별개의 차원을 형성한다는 점을 보여준다.

결과적으로, 본 연구는 (1) 라우팅 빈도와 인과 기여가 반드시 일치하지 않으며, (2) 전문가 간 상호작용 토폴로지는 비동기적으로 형성되어 초기 신뢰도보다 먼저 중앙집중화가 일어난다, (3) INFORM을 통한 그래디언트 기반 인과 분석이 구조적 취약점을 정확히 식별한다는 세 가지 핵심 인사이트를 제공한다. 이러한 통찰은 향후 비용 효율적인 전문가 프루닝, 안전한 멀티‑에이전트 설계, 그리고 오케스트레이션 정책의 디버깅에 직접 활용될 수 있다.