자율주행 VLM을 위한 합성 MCQA 텍스트 편향 감소 방안

초록

**
본 논문은 자율주행 영상‑언어 모델(VLM) 학습에 사용되는 합성 다지선다형 질문( MCQA )이 텍스트 편향에 쉽게 노출되는 문제를 지적한다. 기존 LLM 기반 방해옵션 생성 방식은 정답과 방해옵션 사이에 미묘한 언어적 패턴을 남겨 모델이 시각 정보를 무시하고 텍스트만으로 높은 정확도를 달성하게 만든다. 저자들은 정답을 다른 샘플의 정답으로 교체해 방해옵션을 구성하고, 훈련 초기에 옵션을 임의로 삭제하는 커리큘럼 학습을 도입한다. 실험 결과, 제안 방법은 “블라인드 정확도”(시각 입력을 차단했을 때의 정확도)를 +66.9%에서 +2.9% 수준으로 크게 낮추어, 모델이 실제 시각적 근거에 의존하도록 만든다.

**

상세 분석

**
이 연구는 자율주행 분야에서 VLM의 성능을 평가하기 위해 널리 사용되는 MCQA 벤치마크가 근본적인 설계 결함을 가지고 있음을 체계적으로 밝힌다. 첫 번째 핵심 발견은 LLM이 정답을 기반으로 방해옵션을 생성할 때, 정답과 방해옵션 사이에 일관된 어휘·구문 패턴이 형성된다는 점이다. 이러한 패턴은 “정답 위치 균등성”, “길이 차이”, “전형적인 동사·명사 조합” 등 눈에 띄지 않는 미세 신호로 나타나며, 작은 VLM조차도 시각 입력을 무시하고 텍스트만으로 60% 이상 초과 정확도를 달성한다. 저자들은 이를 “텍스트 편향”이라 정의하고, 두 가지 진단 실험을 설계했다. 첫 번째는 사전학습된 VLM을 영상 없이 질문·옵션만 입력해 평가하는 제로샷 테스트이며, 두 번째는 동일 모델을 합성 MCQA에 대해 완전 미세조정(SFT)한 뒤 영상 입력을 차단하고 정확도를 측정하는 방식이다. 두 실험 모두 기존 LLM‑기반 데이터(D_llm)에서 모델이 텍스트만으로 높은 성능을 보였으며, 특히 데이터 생성에 사용된 Gemini 2.5가 가장 큰 편향을 보였다.

편향을 제거하기 위한 제안 방법은 크게 두 단계로 구성된다. ① 방해옵션 재샘플링: 정답을 생성한 뒤, 동일한 라벨 공간에서 다른 샘플의 정답을 가져와 방해옵션으로 사용한다. 이때 질문에 등장하는 에이전트 식별자를 목표 에이전트에 맞게 교체해 일관성을 유지한다. 이렇게 하면 방해옵션이 원래 LLM이 만든 “정답‑조건부” 텍스트가 아니라, 완전히 독립적인 문장 구조를 갖게 된다. ② 커리큘럼 기반 옵션 드롭핑: 훈련 초기에 일정 비율의 MCQA 샘플에서 옵션을 제거하고, 오픈‑엔드 형태(질문‑영상만)로 변환한다. 옵션 드롭 비율 x(t)는 훈련 단계 t에 따라 quadratic schedule x(t)=max(d_min, d_max−d_min·(t/τ)^2) 로 증가·감소한다. 초기에는 높은 드롭 비율(d_max≈0.8)로 시각‑텍스트 연관성을 강제하고, 훈련이 진행될수록 옵션을 복원해 최종 모델이 선택형 질문에도 강건하게 대응하도록 만든다.

실험 결과는 두 가지 관점에서 설득력을 제공한다. 첫째, 제로샷 테스트에서 D_new(편향 제거 데이터)로 평가한 모든 모델은 무작위 추측 수준(−5%~+1%)에 머물렀으며, 기존 D_llm에서 +13% 이상의 편향을 보였던 Gemini 2.5조차도 −5%로 급락했다. 이는 방해옵션 재샘플링이 모델‑특정 언어 패턴을 효과적으로 차단했음을 의미한다. 둘째, SFT 실험에서 Qwen2‑VL‑2B를 D_llm에 미세조정하면 전체 정확도 93.8%에 비해 영상 차단 시 +66.9%의 블라인드 정확도를 유지한다. 반면 D_new에 대해 동일 모델을 훈련하면 전체 정확도는 75.7%77.3% 수준이지만, 영상 차단 시 +2.9%+5.4%에 불과해 시각 정보에 크게 의존한다는 것을 확인한다. 특히 D_N(에이전트 비가시 옵션)과 D_V(에이전트 비가시 옵션 부재) 서브셋에서 정확도가 거의 0%에 가깝게 떨어져, 텍스트만으로 정답을 추론할 여지가 사라졌다.

커리큘럼 학습을 적용한 경우, 전체 정확도는 약 2~3% 상승하면서도 블라인드 정확도는 여전히 낮게 유지된다. 이는 옵션 드롭핑이 모델의 시각‑텍스트 정합성을 강화하면서도 과도한 옵션 의존성을 억제한다는 증거다. 또한 비전 인코더와 프로젝터를 완전 미세조정(Full‑Fine‑Tune)했을 때 가장 높은 성능을 기록했는데, 이는 BEV 영상 특성이 일반 VLM 사전학습 데이터와 차이가 크기 때문에 비전 파라미터를 적절히 조정하는 것이 필수적임을 시사한다.

한계점으로는 현재 Qwen2‑VL‑2B와 하나의 운전 데이터셋(베이직 BEV 영상 + 조작 라벨)만을 대상으로 실험했으며, 다른 도메인(예: 전방 카메라 영상, 복합 상황)이나 대규모 멀티모달 모델에 대한 일반화 검증이 부족하다. 또한 방해옵션을 라벨 기반으로 재샘플링하는 방식이 라벨 수가 제한된 경우(소수 클래스)에는 충분한 다양성을 제공하지 못할 가능성이 있다. 향후 연구에서는 라벨 외부의 풍부한 텍스트 코퍼스를 활용한 혼합형 방해옵션 생성, 그리고 자동 텍스트 편향 탐지를 위한 언어 모델 기반 메트릭(예: BLEU‑차이, 임베딩 거리) 개발이 필요하다.

결론적으로, 이 논문은 합성 MCQA가 VLM 평가에 미치는 위험성을 실증하고, 방해옵션 재샘플링과 커리큘럼 옵션 드롭핑이라는 두 가지 간단하지만 효과적인 해결책을 제시한다. 제안된 방법은 텍스트 편향을 거의 완전히 제거함으로써, 모델이 실제 시각 정보를 기반으로 판단하도록 강제한다. 이는 자율주행 시스템의 안전성 검증을 위한 벤치마크 설계에 중요한 지침을 제공한다.

**