시각언어 모델의 시각 추출과 논리 일관성 향상

초록

본 논문은 시각‑언어 모델(VLM)이 답만을 검증하는 기존 강화학습(RLVR)에서 보이는 시각 추출 오류와 논리적 일관성 결함을 해결하기 위해, 시각 인식 단계와 텍스트 추론 단계를 분리한 PeRL‑VL 프레임워크를 제안한다. 모델이 자체 생성한 이미지 설명을 VLM 기반 보상기로 평가해 신뢰성과 충분성을 점수화하고, 텍스트‑전용 논리‑CoT 데이터로 별도 SFT를 수행한다. 조건부 보상 설계와 설명 보상을 결합함으로써 “정답을 위한 잘못된 추론”을 억제하고, 다양한 멀티모달 벤치마크에서 Pass@1을 63.3 %→68.8 %로 향상시킨다.

상세 분석

PeRL‑VL은 기존 RLVR이 최종 정답만을 검증하는 한계에 주목한다. 최종 정답이 맞더라도 중간 단계에서 이미지 설명이 누락·왜곡되거나 체인‑오브‑생각(Chain‑of‑Thought, CoT)이 논리적으로 모순될 경우, 모델은 “보상 해킹”을 통해 비합리적인 과정을 학습한다. 이를 방지하기 위해 저자는 두 개의 독립 모듈을 설계한다. 첫 번째는 시각 인식 단계로, 모델이 <description> 태그 안에 이미지에 대한 상세하고 충실한 설명을 생성하도록 요구한다. 이 설명은 별도의 VLM(예: GPT‑4o)으로 구현된 설명 보상 r_desc에 의해 0/1 점수를 받으며, ‘faithful’와 ‘sufficient’ 두 기준을 동시에 만족해야만 보상이 주어진다. 이렇게 하면 시각 정보가 실제 이미지와 정합성을 갖추지 못하면 답 보상이 차단된다. 두 번째는 텍스트 추론 단계로, 이미지와 무관하게 순수 텍스트 기반 논리 CoT 데이터를 활용해 SFT를 수행한다. OpenThought와 같은 고품질 논리 데이터셋을 사용해 모델의 논리 일관성, 전후 연결성, 그리고 오류 없는 추론 흐름을 사전 학습한다.

보상 설계 측면에서 저자는 Aggregated와 Conditional 두 방식을 비교한다. Aggregated는 형식·설명·정답 보상을 가중합해 부분 점수를 허용하지만, 여전히 설명이 틀려도 정답만 맞으면 보상이 주어질 위험이 있다. Conditional은 설명이 올바른 경우에만 정답 보상을 허용하는 ‘게이트’ 구조(γ = 0)를 도입해, 시각 인식이 정확해야만 최종 보상이 가능하도록 만든다. 실험 결과, Conditional 보상이 ‘false positive’ 롤아웃을 크게 감소시켜 전반적인 일반화 성능을 끌어올렸다.

학습 절차는 먼저 텍스트 추론 SFT를 진행해 논리 능력을 강화한 뒤, 시각 인식 RL을 적용한다. 이렇게 순차적으로 학습하면 두 단계가 서로 간섭하지 않고 독립적으로 최적화된다. 구조화된 출력 형식 <description><think><answer> 덕분에 각 단계별 평가가 용이하고, 오류 분석도 직관적으로 가능하다.

실험에서는 Qwen2.5‑VL‑7B 기반 모델을 사용해 다양한 멀티모달 벤치마크(예: 복합 추론, 카운팅, 물체 관계)에서 평균 Pass@1을 63.3 %에서 68.8 %로 상승시켰다. 이는 기존 RLVR, 텍스트‑전용 SFT, 그리고 GPT‑4o 기반 멀티모달 디스틸레이션보다 모두 우수한 결과다. 특히 시각 설명 정확도와 논리 일관성 지표가 각각 12 %·9 % 이상 개선된 점이 주목할 만하다.

한계점으로는 VLM 보상 모델 자체가 완벽하지 않아 설명 평가에 오차가 남을 수 있고, 현재는 0/1 이진 보상만 사용해 미세한 품질 차이를 반영하기 어렵다는 점이다. 향후에는 연속형 신뢰도 점수와 인간 피드백을 결합한 보상 설계, 그리고 더 큰 규모의 멀티모달 CoT 데이터 구축이 필요하다.

결론적으로 PeRL‑VL은 시각‑언어 모델의 두 핵심 약점(시각 추출 오류, 논리 불일치)을 구조적으로 분리·전용 보상으로 해결함으로써, “정답만 맞추는” 기존 RLVR의 한계를 넘어 보다 신뢰성 있는 멀티모달 추론을 구현한다.