연속 지능 성장 자기 학습 지속 학습 이중 규모 메모리 슈퍼인텔리전트 에이전트

초록

SuperIntelliAgent는 작은 확산 모델을 학습자, 대형 언어 모델을 검증자로 결합해 자동으로 생성된 DPO 쌍을 통해 지속적인 자기 지도 학습을 수행한다. 짧은‑기억과 긴‑기억을 동시에 활용해 추론 과정을 보존하고, 검증된 진행 샘플을 재생 버퍼에 저장해 커리큘럼을 자동 생성한다. 최소한의 인간 개입으로 다양한 벤치마크에서 성능 향상을 보이며, 기존 에이전트 프레임워크에 플러그인 형태로 적용 가능하다.

상세 분석

본 논문은 “학습자‑검증자”라는 최소 단위가 지속적인 지능 성장의 핵심이라는 가설을 실험적으로 검증한다. 학습자는 파라미터가 적은 확산 모델로, 입력에 대해 여러 후보 출력을 생성한다. 검증자는 파라미터가 고정된 대형 언어 모델(LLM)이며, 후보마다 단계별 추론(step‑by‑step reasoning)을 수행해 선택·거부 판단을 내린다. 이 과정에서 생성된 ‘chosen’와 ‘rejected’ 쌍은 Direct Preference Optimization(DPO) 손실에 바로 투입되어 학습자가 즉시 업데이트된다. 즉, 각 입력이 자동으로 라벨링된 훈련 신호가 되며, 전통적인 지도 학습에서 요구되는 인간 어노테이션 비용을 완전히 제거한다는 점이 혁신적이다.

두 가지 메모리 메커니즘이 핵심 설계에 포함된다. 첫 번째는 짧은‑기억(in‑context memory)으로, 동일 입력에 대한 여러 refinement 사이클에서 검증자의 추론 트레이스를 프롬프트에 삽입해 연속적인 사고 흐름을 유지한다. 이는 LLM이 “생각의 연속성”을 보존하도록 하여, 단일 샷보다 더 깊이 있는 피드백을 제공한다. 두 번째는 긴‑기억(long‑term memory)으로, 검증을 통과한 샘플들을 경량 파인‑튜닝 방식으로 학습자에 축적한다. 여기서는 메타‑학습적 접근을 차용해, 새로운 데이터가 들어올 때마다 기존 파라미터를 소폭 조정함으로써 지식이 서서히 누적된다.

또한, 검증된 진행 샘플을 저장하는 replay buffer가 도입된다. 이 버퍼는 ‘verifiable progress’를 보인 샘플만을 선별해 보관하고, 이후 학습 단계에서 보조 감독(supervision)으로 재활용한다. 이렇게 하면 최신 학습이 과거에 학습된 내용과 충돌하지 않도록 조정하면서, 자연스럽게 커리큘럼을 형성한다(Adaptive Curriculum). 버퍼의 샘플 선택 기준은 검증자의 점수 차이와 추론 길이 등을 복합적으로 고려해, 학습 효율을 극대화한다.

실험에서는 최소한 수십 개의 자동 생성 DPO 쌍만으로도 다양한 자연어 처리 및 코드 생성 벤치마크에서 의미 있는 성능 향상을 기록했다. 특히, 기존 파인‑튜닝 기반 에이전트와 비교했을 때, 지속적인 학습 루프를 통해 시간 경과에 따라 점진적으로 개선되는 모습을 확인할 수 있었다. 인프라스트럭처 독립성을 강조한 설계 덕분에, 기존의 LangChain, AutoGPT 등과 같은 에이전트 프레임워크에 플러그인 형태로 손쉽게 통합할 수 있다.

이러한 설계는 두 가지 중요한 연구 방향을 제시한다. 첫째, 검증 가능한 피드백을 제공하는 고정 LLM이 학습자에게 ‘교사’ 역할을 수행함으로써, 인간 라벨이 필요 없는 자기 지도 학습이 가능하다는 점이다. 둘째, 짧은‑기억과 긴‑기억을 조화롭게 활용함으로써, 단기 추론 연속성과 장기 지식 축적을 동시에 달성할 수 있다는 점이다. 앞으로는 검증자의 다중‑모달 능력 확대, 메모리 관리 최적화, 그리고 보다 복잡한 환경(예: 로봇 제어, 시뮬레이션)에서의 적용 가능성을 탐색하는 것이 자연스러운 다음 단계가 될 것이다.