멀티에이전트 시스템이 언제 더 효율적인가: LLM 학습 효율성 비교 분석

초록

**
본 논문은 대형 언어 모델(LLM) 학습에 있어 단일 에이전트 강화학습(SARL)과 다중 에이전트 강화학습(MARL)의 표본 복잡도(sample complexity)를 PAC 이론으로 정량화한다. 작업이 독립적인 하위 과제로 자연스럽게 분해될 때 MARL이 샘플 효율성에서 우위를 보이며, 하위 과제 간 의존성이 강할수록 그 이점이 감소한다. 또한 작업 정렬(task alignment) 개념을 도입해, 독립 분해가 실제 보상 구조와 불일치할 경우의 효율성 손실을 정량화한다. 이론적 결과는 기존 실험 결과의 모순을 설명하고, LLM 기반 복합 작업에 MARL을 적용할지 여부를 판단하는 실용적 기준을 제공한다.

**

상세 분석

**
본 연구는 LLM을 대상으로 하는 강화학습을 SAR 와 MARL 두 패러다임으로 명확히 구분하고, 각각을 PAC(Probably Approximately Correct) 학습 프레임워크에 매핑함으로써 표본 복잡도에 대한 엄밀한 상한을 도출한다. SARL에서는 하나의 정책 πθ가 전체 시퀀스를 생성하고, 전체 보상 R(x, y)만을 관측한다. 이때 정책 클래스 Π의 차원 d와 보상 변동성에 기반한 표본 복잡도는 Theorem 4.1에서 (O\big(\frac{d}{\epsilon^{2}}\log\frac{1}{\delta}\big)) 형태로 제시된다.

MARL은 K개의 에이전트가 순차적으로 각 세그먼트 y(i)를 생성하도록 설계된다. 두 가지 보상 분해 모델을 고려한다. ① 의존적 보상 R_dep = (1/K)∑ r_i(x, y(i), y(<i))는 이전 세그먼트에 의존하는 형태이며, ② 독립적 보상 R_indep = (1/K)∑ r_i(x, y(i))는 완전 독립성을 가정한다. Theorem 4.2와 4.3은 각각 의존적·독립적 경우에 대한 표본 복잡도 상한을 제공한다. 독립적 경우에는 전체 복잡도가 가장 어려운 하위 과제의 차원 d_max에 의해 지배되며, 이는 “가장 어려운 서브태스크 하나만 학습하면 된다”는 직관과 일치한다. 반면 의존적 경우에는 모든 하위 과제의 난이도가 누적되어 (O\big(\frac{\sum_i d_i}{\epsilon^{2}}\log\frac{1}{\delta}\big)) 형태가 되므로, 서브태스크 간 상호작용이 클수록 MARL의 이점이 급격히 감소한다.

작업 정렬 개념은 MARL이 강제적으로 독립적인 분해를 사용하지만 실제 보상 구조는 부분적으로 의존적일 때 발생한다. 저자들은 정렬 오차 Δ = max_x |R_dep(x, y) − R_indep(x, y)| 로 정의하고, Theorem 4.6에서 Δ가 표본 복잡도에 미치는 영향을 (\tilde O\big(\frac{Δ}{\epsilon^{2}}\big)) 로 정량화한다. Proposition 4.7은 Δ가 일정 수준 이하일 경우 MARL이 여전히 SARL보다 샘플 효율성을 유지한다는 조건을 제시한다.

이러한 결과는 기존 실험에서 MARL이 때때로 SARL보다 열등하게 보였던 원인을 이론적으로 설명한다. 즉, 작업이 자연스럽게 독립적인 서브태스크로 분해되지 않거나, 강제적인 독립 분해가 실제 보상과 크게 불일치할 경우 MARL의 이점이 사라진다. 반대로, 복잡한 파이프라인(예: 플래너‑솔버‑검증기)처럼 각 단계가 명확히 구분되고 상호 의존성이 약한 경우 MARL은 샘플 요구량을 크게 절감할 수 있다.

실용적 측면에서 논문은 “작업 독립성 지표”(예: 상호 정보량, 조건부 엔트로피)와 “정렬 오차 추정”을 사전 평가 도구로 제안한다. 이러한 메트릭을 통해 연구자는 사전에 MARL 적용 여부를 판단하고, 필요시 보상 설계를 조정하거나 하위 과제 간 인터페이스를 명시적으로 설계함으로써 정렬 오차를 최소화할 수 있다.

마지막으로, 저자들은 현재 분석이 정책 클래스가 유한 차원이고, 보상이 시퀀스 전체에 한 번만 주어지는 설정에 국한된다는 한계를 인정한다. 미래 연구에서는 연속 보상, 비정형 관측, 그리고 대규모 파라미터 공간(예: 전체 LLM 파라미터)으로 확장하는 것이 필요하다.

**