엣지 규모 에이전트를 위한 장기 탐색형 사십억 파라미터 모델

초록

본 논문은 4 억(≈40 억) 파라미터 규모의 에이전트 모델인 AgentCPM‑Explore를 제안하고, 파라미터‑공간 모델 병합, 보상 신호 디노이징, 컨텍스트 정제라는 세 가지 핵심 기법을 통해 소형 모델의 망각, 보상 노이즈 민감성, 장기 컨텍스트 붕괴 문제를 극복함으로써 기존 8 B·30 B 모델을 능가하는 성능을 달성한다.

상세 분석

AgentCPM‑Explore는 현재 LLM‑기반 에이전트 연구에서 대규모 모델에 의존하는 흐름을 탈피하고, 엣지 디바이스에 적용 가능한 4 B(≈40 억) 파라미터 수준의 모델이 실제로 고난도 장기 과제를 해결할 수 있음을 실증한다. 논문이 제시한 세 가지 병목은 (1) Supervised Fine‑Tuning(SFT) 단계에서 발생하는 catastrophic forgetting으로, 작은 모델은 일반 언어 이해 능력을 유지하면서 특화된 스킬을 학습하기 어려워한다. (2) Reinforcement Learning(RL) 단계에서 보상 신호의 잡음에 과도하게 민감해, 환경 오류나 포맷 실수 등 외부 요인에 의해 잘못된 보상이 전달되면 정책이 급격히 붕괴한다. (3) 장기 컨텍스트 상황에서 정보 오염이 발생해, 관찰(observation) 중 불필요하거나 중복된 정보가 쌓이면서 모델의 추론 정확도가 급감한다.

이를 해결하기 위해 저자들은 파라미터‑공간 모델 병합(DELLA 알고리즘 기반)을 도입한다. 기본 모델의 일반 능력과 SFT 모델의 특화 능력을 가중 평균 형태로 결합함으로써, 작은 모델이 과도한 오버피팅 없이 두 능력을 동시에 보유하도록 설계했다. 병합 과정에서 magnitude‑based pruning을 적용해 변화량이 작은 파라미터는 드롭하고, 중요한 변화만을 보존함으로써 학습 안정성을 높였다.

두 번째로 제안된 보상 신호 디노이징 메커니즘은 오류가 의심되는 트래젝터리를 사전 필터링한다. 환경 노이즈(툴 타임아웃, 서버 오류), 포맷 오류(JSON 누락 등), 극단적인 트래젝터리 길이(과도히 짧거나 긴) 세 가지 기준을 적용해, 해당 트래젝터리는 배치에서 제외하거나 중립 보상(0)으로 대체한다. 이렇게 하면 잘못된 그라디언트가 정책 업데이트에 영향을 미치는 것을 방지한다.

세 번째 핵심은 컨텍스트 정보 정제이다. 저자들은 (a) 검색 의도 생성(search intent generation)을 RL 목표에 포함시켜, 에이전트가 필요한 정보만을 선택적으로 추출하도록 유도하고, (b) 요약 모델을 교사 모델(대형 모델)로부터 다중 샘플링(distillation)하여 고품질 요약을 생성하도록 학습시켰다. 결과적으로 긴 대화나 웹 검색 결과에서 핵심 정보만을 압축해 전달함으로써, 4 B 모델의 제한된 컨텍스트 윈도우에서도 높은 추론 정확도를 유지한다.

실험에서는 8개의 베치베이스 벤치마크(GAIA, DeepSearch 등)에서 4 B 모델 중 최고 성능을 기록했으며, 특히 GAIA 텍스트 기반 과제에서 pass@64 기준 97.09%라는 거의 완벽에 가까운 정확도를 달성했다. 이는 8 B·30 B 수준의 최신 오픈소스·클로즈드소스 모델을 능가하거나 동등한 수준임을 의미한다. 결과는 “엣지 규모 모델의 한계는 모델 자체가 아니라 추론 안정성”이라는 핵심 메시지를 뒷받침한다.

전반적으로 이 논문은 (1) 작은 모델에서도 지식 밀도와 탐색 능력을 동시에 확보할 수 있는 훈련 파이프라인을 제시하고, (2) 파라미터 병합, 보상 정제, 컨텍스트 압축이라는 세 가지 기술이 상호 보완적으로 작용해 성능 격차를 메운다는 점을 입증한다. 향후 연구에서는 더 다양한 도메인(멀티모달, 실시간 스트리밍)과 하드웨어 최적화(양자화, 프루닝)와 결합해 엣지 AI의 실용성을 한층 확대할 여지가 있다.