Fine‑R1: 체인‑오브‑생각으로 미세 시각 인식 능력을 극대화한 멀티모달 LLM

초록

Fine‑R1은 체인‑오브‑생각(CoT) 감독 미세조정과 트리플렛 강화 정책 최적화를 결합해, 4‑샷만으로도 기존 MLLM과 대비 CLIP 모델을 뛰어넘는 미세‑그레인 시각 인식(FGVR) 성능을 달성한다. intra‑class 변동성을 완화하고 inter‑class 구분을 강화함으로써, 본 모델은 본래 본 적 없는 하위 카테고리까지도 높은 정확도로 인식한다.

상세 분석

본 논문은 현재 멀티모달 대형 언어 모델(MLLM)이 거시적(코스‑그레인) 비전·언어 작업에서는 뛰어난 성능을 보이지만, 미세‑그레인 시각 인식(FGVR)에서는 데이터 부족과 과적합 문제로 한계에 봉착한다는 점을 지적한다. 이를 해결하기 위해 제안된 Fine‑R1은 두 단계의 학습 프레임워크, 즉 “Chain‑of‑Thought Supervised Fine‑tuning (CoT‑SFT)”와 “Triplet Augmented Policy Optimization (T‑APO)”를 핵심으로 한다.

CoT‑SFT 단계에서는 고품질 FGVR CoT 데이터셋을 구축한다. 이미지당 하나의 하위 카테고리를 샘플링하고, Qwen2.5‑VL‑32B를 활용해 “시각 분석 → 후보 하위 카테고리 제시 → 비교 → 최종 예측”이라는 네 단계의 논리적 흐름을 포함한 텍스트 라셔널을 생성한다. 여기서 중요한 점은 이미지‑레벨 시각 개념 추출 단계에서 다중 캡션을 생성하고, 정보 병목 기법을 적용해 핵심 시각 속성을 텍스트로 압축한다는 것이다. 이렇게 얻어진 라셔널은 404개의 고품질 샘플로 정제되며, 라벨 일치, 언어 혼합 방지, 후보 카테고리 내 일관성 검증 등의 품질 관리 절차를 거친다. CoT‑SFT를 통해 모델은 인간이 수행하는 단계적 추론 과정을 모방하게 되며, 특히 후보 카테고리를 먼저 제시하고 텍스트 지식을 활용해 미세 차이를 비교하는 능력이 강화된다.

두 번째 단계인 T‑APO는 강화학습 기반 정책 최적화에 대조적(triplet) 신호를 도입한다. 각 앵커 이미지 x에 대해 동일 하위 카테고리의 양성 이미지 xₚₒₛ와, 시각적으로 가장 유사하지만 다른 하위 카테고리의 음성 이미지 xₙₑ𝑔를 구성한다. intra‑class augmentation은 앵커와 양성 이미지에서 각각 n₁, n₂개의 롤아웃을 생성하고, 이를 하나의 보상 풀에 합산해 정책 업데이트를 수행한다. 이때 정책 업데이트는 여전히 앵커 (x, q)에만 조건화되어, 양성 이미지의 다양성이 모델의 탐색 공간을 넓히면서도 핵심 판단은 앵커에 집중되도록 설계되었다. inter‑class augmentation은 음성 이미지와의 비교를 통해 낮은 inter‑class 차이를 극복하도록 보상을 설계한다. 구체적으로, 기존 DAPO(Decoupled Clip and Dynamic Sampling Policy Optimization)의 Clip‑Higher, Dynamic Sampling, Token‑Level Policy Gradient Loss를 그대로 차용하면서, 트리플렛 구조를 추가해 정책이 양성·음성 샘플 간의 거리 차이를 최대화하도록 유도한다.

실험은 6개의 FGVR 데이터셋(조류, 식물, 자동차, 항공기 등)에서 4‑shot 베이스‑투‑뉴 설정으로 수행되었다. Fine‑R1‑3B는 폐쇄형(closed‑world) 평가에서 Qwen2.5‑VL‑7B 대비 +8.51%, DeepPerception‑7B 대비 +5.59%의 절대 정확도 향상을 보였으며, 개방형(open‑world) 평가에서는 Qwen2.5‑VL‑7B 대비 +23.75%, DeepPerception‑7B 대비 +30.98%까지 상승했다. 또한, 미지의 하위 카테고리 일반화 테스트에서 SFT, CLS‑RL, No‑Thinking‑RL 대비 각각 +15.59%, +10.28%, +10.05%의 개선을 기록했다. 비단 분류 정확도뿐 아니라, 이미지 기반 질문응답(ImageWikiQA)과 일반 VQA에서도 기존 모델을 능가하거나 동등한 성능을 유지했다.

핵심 인사이트는 다음과 같다. 첫째, 고품질 CoT 라셔널이 모델에게 “시각‑텍스트” 지식을 구조화된 형태로 제공함으로써, 단순 이미지‑텍스트 매핑을 넘어선 추론 능력을 부여한다. 둘째, 트리플렛 기반 정책 최적화가 intra‑class 변동성을 완화하고 inter‑class 구분을 강화함으로써, 미세‑그레인 차이를 구별하는 데 필요한 대비 신호를 효과적으로 생성한다. 셋째, 제한된 샘플(4‑shot)만으로도 이러한 두 메커니즘을 결합하면, 대규모 라벨링 없이도 기존 대형 MLLM이나 전용 CLIP 모델을 능가하는 성능을 달성할 수 있다. 마지막으로, 모델 내부의 시각 특징 자체는 크게 변하지 않으며, 오히려 기존 지식의 “배치”가 보다 효율적으로 활용되는 점을 분석을 통해 확인하였다. 이러한 설계는 전문가 라벨링이 어려운 도메인(예: 희귀 조류, 신종 식물)에서도 실용적인 FGVR 솔루션으로 활용될 가능성을 시사한다.