픽셀리스로 보는 시각 인식, 행동까지 연결하는 새로운 프레임워크

초록

Pixelis는 이미지·비디오에 직접 작동하는 소수의 픽셀‑툴(줌·크롭·세그멘트·트랙·OCR·시간 로컬라이제이션)을 이용해 시각‑언어 모델을 행동형 에이전트로 전환한다. 3단계 학습(SFT → CC‑RFT → Pixel TTRL)으로 툴 사용 문법을 습득하고, 호기심‑일관성 보상으로 구조화된 짧은 툴 체인을 생성하며, 테스트 시 이웃 검색·궤적 투표와 KL‑EMA 안전 제어로 라벨 없이 적응한다. 6개 벤치마크에서 평균 +4.08% 향상과 체인 길이 감소, KL 안정성을 입증한다.

상세 분석

Pixelis는 기존 비전‑언어 모델(VLM)이 “정적 관찰자”에 머무르는 한계를 극복하기 위해, 픽셀 수준에서 직접 실행 가능한 툴 세트를 정의하고 이를 언어 모델의 출력 토큰으로 직렬화한다는 근본적인 설계를 도입한다. 첫 번째 단계인 Supervised Fine‑Tuning(SFT)에서는 인간이 설계한 Chain‑of‑Thought‑Action(COT‑A) 데이터셋을 활용해 툴 호출 구문과 인수(바운딩 박스, 프레임 번호 등)를 학습한다. 여기서 마스크드 모방 손실(masked imitation loss)을 적용해 툴·인수 토큰에 가중치를 부여하고, 툴‑전용 보조 헤드(박스 회귀, OCR 텍스트, 트랙 히트 등)를 통해 픽셀‑그라운드된 정밀도를 강화한다.

두 번째 단계인 Curiosity‑Coherence Reward Fine‑Tuning(CC‑RFT)은 두 가지 내재적 동기를 결합한다. 첫째, 예측 오류 기반 호기심(curiosity)은 현재 정책이 예측한 시각 상태와 실제 툴 실행 후 상태 사이의 차이를 보상으로 사용한다. 여기서는 불확실성 게이트를 도입해 에피스틱 변동이 낮은 경우에만 큰 오류를 보상함으로써 무작위 탐색을 억제한다. 둘째, 인접‑스텝 일관성(coherence) 보상은 연속된 스텝 임베딩 간 코사인 유사도를 z‑스코어화해 평균값을 최대화한다. 이는 툴 전환을 최소화하고, “짧고 논리적인” 체인을 유도한다. 또한 체인 길이와 무효 툴 호출에 대한 페널티를 포함한 효율성 prior와 KL‑anchor를 함께 최적화해 정책이 급격히 변하지 않도록 제어한다.

세 번째 단계인 Pixel Test‑Time RL(Pixel TTRL)은 라벨이 없는 실제 환경에서의 적응을 목표로 한다. 입력 쿼리에 대해 메모리 뱅크에서 가장 유사한 궤적을 검색하고, 전체 궤적에 대한 투표(voting) 방식을 적용해 “고신뢰” 궤적을 pseudo‑supervision으로 사용한다. 업데이트는 KL‑to‑EMA 안전 제어를 통해 현재 정책과 EMA(Exponential Moving Average) 기준 정책 사이의 KL 발산을 제한한다. 이 메커니즘은 급격한 정책 드리프트를 방지하면서도, 테스트 시점에 새로운 도메인에 빠르게 적응하도록 만든다.

실험에서는 8B 파라미터 규모의 베이스 VLM을 동일하게 사용한 상태에서, 이미지·비디오 6개 공개 벤치마크(VSI‑Bench, RefCOCO 등) 전반에 걸쳐 평균 +4.08%(최고 +6.03%)의 상대적 정확도 향상을 기록한다. 특히 툴 체인 평균 길이가 6.0 → 3.7 단계로 감소했으며, 테스트‑타임 적응 중 토큰‑KL이 0.2 이하로 유지돼 안정성을 입증한다. 안전 제어를 제거하면 KL이 0.4를 초과하고 정확도가 급락하는 등, KL‑EMA 제어의 중요성이 실증된다.

또한 저자들은 툴 사용 정확도(IoU, ANLS, HOT‑A)와 툴 의존성 분석을 제공하고, 중복 데이터와 검색 누출을 철저히 방지한 탈중복·누수 감사 절차를 공개한다. 전체 파이프라인과 하이퍼파라미터, 체크포인트, 재현 스크립트를 공개함으로써 연구 재현성을 높였다.

핵심 기여는 다음과 같다. ① 픽셀‑툴을 통한 실행 가능한 비전‑언어 에이전트 설계, ② 호기심‑일관성 보상으로 구조화된 짧은 툴 체인 학습, ③ KL‑EMA 기반 안전 제어와 궤적 투표를 결합한 라벨‑프리 테스트‑타임 적응 메커니즘. 이 세 요소가 결합돼 정적 VLM이 갖지 못한 “보는 → 행동 → 학습” 루프를 완성한다.