액티브 제로: 능동적 환경 탐색으로 스스로 진화하는 비전‑언어 모델

초록

본 논문은 정적인 이미지 컬렉션에 의존하는 기존 비전‑언어 모델(VLM) 자기‑플레이 방식을 탈피하여, 모델이 스스로 시각 환경을 탐색하고 학습 커리큘럼을 생성하도록 하는 ‘Active‑Zero’ 프레임워크를 제안한다. 검색(Searcher), 질문(Questioner), 해결(Solver) 세 에이전트를 공동 진화시키며, 검색 에이전트는 모델의 현재 능력 경계에 맞는 이미지를 외부 저장소에서 가져오고, 질문 에이전트는 그 이미지에 대해 난이도가 적절한 다단계 추론 질문을 만든다. 해결 에이전트는 정확도 기반 보상으로 학습한다. Qwen2.5‑VL‑7B‑Instruct에 적용한 결과, 12개 벤치마크에서 추론 정확도가 5.7 %·일반 이해 정확도가 3.9 % 상승해 기존 자기‑플레이 기반 방법들을 지속적으로 앞선다.

상세 분석

Active‑Zero는 비전‑언어 모델의 자기‑플레이를 ‘수동적 이미지 풀’에서 ‘능동적 환경 탐색’으로 전환한다는 점에서 혁신적이다. 핵심은 세 개의 공동 진화 에이전트이다. 첫 번째인 Searcher는 정책 π_S(q|P)를 통해 텍스트 쿼리를 생성하고, 이를 외부 오픈‑월드 이미지 저장소(D_env)와 연동해 이미지 I를 획득한다. 보상은 Solver의 불확실성을 기반으로 한 Challenge Reward(R_chal)와 반복 패널티(P_rep)를 결합해 정의한다. R_chal은 다중 추론 패스(m‑step) 후 다수결 정확도(Acc)와 1‑2 사이의 거리로 계산되며, 최대 불확실성(0.5)에서 보상이 최고가 되도록 설계돼 Solver가 아직 완전히 마스터하지 못한 ‘경계’ 데이터를 우선 탐색한다. P_rep은 텍스트 BLEU와 이미지 임베딩 코사인 유사도를 이용해 동일 도메인·시각적 클러스터 내 중복을 억제, 다양성을 확보한다. 또한 도메인별 프롬프트(P_c)를 도입해 검색 공간을 N개의 의미적 영역으로 분할하고, GRPO(Group‑Relative Policy Optimization)에서 도메인별 평균·표준편차(μ_c, σ_c)로 정규화된 어드밴티지를 사용함으로써 특정 도메인에 편향되지 않도록 한다.

두 번째인 Questioner는 π_Q(x|I,T_cot)를 통해 이미지 I를 입력받아 CoT(Chain‑of‑Thought) 템플릿을 활용, 다단계 추론 질문 x를 생성한다. 질문 생성 목표는 Solver의 불확실성을 다시 한 번 극대화하는 것이며, 이를 위해 질문 난이도를 사전 학습된 난이도 예측기와 불확실성 추정기로 평가한다. 이렇게 만들어진 질문‑답 쌍은 Solver에게 학습 샘플 D_train으로 제공된다.

세 번째인 Solver는 기존 VLM 구조를 유지하면서, GRPO 기반의 클리핑 목표 L_clip(θ)와 그룹 어드밴티지 ˆA를 사용해 정책을 업데이트한다. 여기서 보상은 정확도 보상(Accuracy Reward)과 일관성 보상(Consensus Reward)으로 구성돼, 다중 추론 패스 간 정답 일치도를 높이는 방향으로 학습한다.

전체 루프는 Stage 1(검색) → Stage 2(질문 생성) → Stage 3(솔버 학습) 순으로 순환하며, 각 단계에서 얻은 피드백이 다음 단계의 정책에 반영된다. 이 순환 구조는 ‘자동 커리큘럼(auto‑curriculum)’을 형성해 모델이 스스로 난이도와 데이터 다양성을 조절한다는 점에서 기존 정적 데이터 기반 자기‑플레이와 근본적으로 차별된다.

실험에서는 Qwen2.5‑VL‑7B‑Instruct를 베이스로 12개 벤치마크(6개 추론‑집중, 6개 일반 이해)에서 평균 정확도 53.97 %와 59.77 %를 달성했으며, 이는 각각 기존 VisPlay, EvolMM 대비 5.7 %·3.9 % 상승한 수치이다. 특히 난이도 높은 추론 과제에서 성능 격차가 두드러졌으며, 검색 단계에서 도메인별 다양성을 유지한 것이 성능 향상의 주요 요인으로 분석된다.

이 논문은 (1) 비전‑언어 모델에 능동 데이터 수집 메커니즘을 도입, (2) GRPO를 활용한 그룹‑레벨 정책 최적화로 노이즈를 억제, (3) 질문 생성과 솔버 학습을 통합한 폐쇄‑루프 커리큘럼을 구현함으로써, 대규모 VLM의 지속 가능한 자기‑진화 경로를 제시한다는 점에서 학계와 산업계 모두에 중요한 시사점을 제공한다.