라벨 없이도 문제없다 멀티모달 검증기로 시각 추론기 학습

2026년 02월 09일

읽는 시간: 3 분

...

📝 원문 정보

Title: No Labels, No Problem: Training Visual Reasoners with Multimodal Verifiers
ArXiv ID: 2512.08889
발행일: 2025-12-09
저자: Damiano Marsili, Georgia Gkioxari

📝 초록 (Abstract)

시각 추론은 정확한 객체 위치 파악과 복잡한 공간 관계 이해를 동시에 요구한다. 기존 방법은 (이미지, 질의, 정답) 형태의 대규모 라벨링이 필요한 언어‑전용 체인‑오브‑생각 접근법과, 사전학습된 모델을 활용해 라벨 없이 프로그램을 합성하지만 논리 오류와 부정확한 객체 정합 문제를 안고 있는 두 갈래로 나뉜다. 본 연구는 라벨이 전혀 없는 훈련 프레임워크를 제안한다. LLM 검증자는 강화학습을 통해 LLM의 추론 과정을 정제하고, VLM 검증자는 자동 하드‑네거티브 마이닝을 통해 시각적 정합성을 강화한다. 이를 통해 최신 언어‑전용 추론 모델의 복합 질의를 단순 하위 작업으로 분해하는 능력과, 성능이 검증된 비전 전문가 모델을 결합한다. 다양한 공간 추론 벤치마크에서 제안 방법은 오픈소스·상용 모델을 능가하고, 향상된 시각 정합 모델을 사용했을 때 최신 텍스트‑전용 시각 추론 기법을 뛰어넘는 성과를 보였다.

💡 논문 핵심 해설 (Deep Analysis)

이 논문은 시각 추론 분야에서 라벨 의존성을 근본적으로 탈피하려는 시도로, 두 종류의 검증기(Verifier)를 도입한 점이 가장 혁신적이다. 첫 번째 LLM Verifier는 기존 체인‑오브‑생각(Chain‑of‑Thought) 방식이 갖는 “추론 단계는 좋지만 정답 라벨이 부족하다”는 한계를 보완한다. 구체적으로, LLM이 생성한 중간 추론 텍스트를 강화학습(Reinforcement Learning) 기반 보상 함수에 입력해, 논리적 일관성과 질문‑답변 적합성을 동시에 최적화한다. 이 과정에서 인간 라벨이 전혀 필요 없으며, LLM 자체의 사전학습 지식을 활용해 자체적인 자기 교정 메커니즘을 만든다.

두 번째 VLM Verifier는 시각적 grounding의 품질을 높이는 역할을 한다. 기존 프로그램‑합성 접근법은 사전학습된 비전 모델을 그대로 사용해 객체 위치를 추정하지만, 종종 “오답 객체”를 선택하거나 경계가 흐릿한 경우가 빈번하다. 저자들은 자동 하드‑네거티브 마이닝을 통해, 현재 모델이 틀리기 쉬운 부정 예시를 지속적으로 생성하고, 이를 VLM에게 “이것은 정답이 아니다”라고 학습시킨다. 이렇게 하면 모델은 미묘한 시각 차이를 구분하는 능력이 강화돼, 복잡한 공간 관계(예: “A는 B와 C 사이에 있다”)를 정확히 파악할 수 있다.

방법론적으로는 LLM과 VLM을 각각 독립적으로 훈련한 뒤, 최종 추론 파이프라인에서 LLM이 질의를 서브‑쿼리로 분해하고, 각 서브‑쿼리는 VLM이 시각적 근거를 제공하도록 설계했다. 이때 두 검증기의 피드백이 순환적으로 교차 학습되므로, 언어와 시각 사이의 정합성이 점진적으로 개선된다.

실험 결과는 세 가지 차원에서 의미 있게 나타난다. (1) 전통적인 라벨 기반 체인‑오브‑생각 모델 대비 정확도 향상, (2) 프로그램‑합성 방식 대비 논리 오류 감소, (3) 최신 텍스트‑전용 시각 추론 모델(예: Flamingo, GPT‑4V) 대비 동일 혹은 더 높은 성능을 달성했다. 특히, VLM 검증기를 통해 얻은 향상된 grounding 모델을 별도로 적용했을 때, 기존 텍스트‑전용 방법을 크게 앞선 점은 시각 정보가 추론에 미치는 결정적 역할을 재확인한다.

하지만 몇 가지 한계도 존재한다. 첫째, 강화학습 보상 설계가 비교적 복잡하고, 하이퍼파라미터 민감도가 높아 재현성이 떨어질 수 있다. 둘째, 하드‑네거티브 마이닝 과정에서 생성되는 부정 예시가 지나치게 어려우면 모델이 수렴하지 않을 위험이 있다. 셋째, 현재 실험은 주로 2D 이미지와 제한된 공간 관계에 초점을 맞추었으며, 3D 장면이나 동영상과 같은 연속적 시각 흐름에 대한 적용 가능성은 아직 검증되지 않았다.

향후 연구 방향으로는 (1) 보상 함수에 인간‑인증된 메타‑라벨을 최소 수준으로 도입해 안정성을 높이는 방안, (2) 하드‑네거티브 샘플링 전략을 curriculum learning 형태로 점진적으로 강화하는 방법, (3) 3D 포인트 클라우드·비디오 데이터에 대한 멀티모달 검증기 확장, (4) 다양한 도메인(의료 영상, 위성 사진 등)에서 라벨‑프리 학습의 일반화 능력을 평가하는 것이 제시된다. 전반적으로 이 논문은 라벨‑프리 시각 추론이라는 새로운 패러다임을 제시하며, 언어와 비전 모델을 검증기 기반으로 상호 보완하게 만드는 설계가 향후 멀티모달 인공지능 연구에 큰 영향을 미칠 것으로 기대된다.