시각·언어 모델로 보는 자율주행 안전 혁신

초록

본 논문은 CLIP 기반 위험 스크리닝, 전역 비전‑언어 임베딩을 활용한 트래젝터리 플래너, 그리고 자연어 지시를 이용한 행동 제약이라는 세 가지 시스템 레벨 사례를 통해, 시각‑언어 모델(VLM)이 자율주행의 인식·예측·계획 단계에서 어떻게 안전성을 향상시킬 수 있는지를 탐구한다. 실험 결과, VLM을 단순히 피처로 주입하는 것보다 의미‑위험 표현과 인간 친화적 제약으로 활용할 때 안전 향상이 크게 나타난다.

상세 분석

논문은 먼저 VLM이 제공하는 전역적인 의미 공간이 기존의 객체‑중심 인식 파이프라인과 근본적으로 다르다는 점을 강조한다. CLIP을 이용한 “hazard‑screening” 모듈은 이미지와 “hazard”, “blocked road” 등 사전 정의된 텍스트 프롬프트 간 코사인 유사도를 실시간으로 계산해, 객체 검출 없이도 OOD(Out‑Of‑Distribution) 위험을 감지한다. 이 접근법은 경량화된 CNN‑기반 백본 위에 텍스트 임베딩을 추가하는 형태로 구현돼, 30 ms 이하의 레이턴시를 달성한다. 실험에서는 COOOL·Lost‑and‑Found 등 희귀 장애물 데이터셋에서 기존 객체 검출 기반 시스템 대비 12 %~18 % 높은 재현율을 기록했으며, 특히 작은 물체(50×50 px 이하)와 시야에 부분적으로 가려진 장애물에 강인함을 보였다.

두 번째 사례는 전역 VLM 임베딩을 Waymo Open Dataset 기반 트랜스포머 플래너에 직접 결합한 것이다. 여기서는 이미지 전체를 CLIP‑ViT‑B/32 로 인코딩한 512‑dim 벡터를 플래너의 컨텍스트 토큰에 추가했지만, 기대와 달리 평균 ADE(average displacement error)와 FDE(final displacement error) 모두 유의미한 개선을 보이지 않았다. 저자들은 이를 “표현‑과제 불일치”라 규정하고, 전역 의미가 구체적인 경로 선택에 직접적인 정보를 제공하지 못한다는 점을 지적한다. 따라서 “task‑informed extraction”—예를 들어, 위험 영역에 대한 로컬 어텐션 맵이나 텍스트‑조건부 토픽을 별도 추출해 플래너에 공급하는 방식—이 필요함을 제안한다.

세 번째 실험은 doScenes 데이터셋을 활용해, 승객이 제공한 자연어 지시(예: “그 사람 옆에 멈춰”)를 플래너에 조건으로 넣는 방법을 검증한다. 여기서는 언어‑조건부 플래너가 기존 플래너 대비 희귀하지만 치명적인 실패(예: 보행자와 충돌, 차선 침범)를 35 % 이상 감소시켰으며, 특히 모호한 교차로 상황에서 “양보” 혹은 “정지”와 같은 안전 행동을 선택하도록 유도했다. 중요한 점은 언어 지시가 시각적 요소와 명시적으로 정합화(guided grounding)되어, 플래너가 “사람”이라는 추상 개념을 실제 이미지 내 바운딩 박스와 연결할 수 있었다는 것이다.

전체적으로 논문은 VLM을 “직접적인 제어 피처”가 아니라 “시맨틱 위험 신호”와 “인간 친화적 제약”으로 활용할 때 안전성 향상이 가능함을 실증한다. 또한, 레이턴시, 신뢰 경계(trust boundary), 그리고 언어‑시각 정합화 메커니즘이 없을 경우 오히려 위험을 초래할 수 있음을 경고한다. 향후 연구는 (1) 위험 텍스트 프롬프트 자동 생성, (2) 로컬 어텐션 기반 의미 추출, (3) 비동기식 언어‑플래너 아키텍처 설계 등을 통해 VLM‑기반 안전 모듈을 실제 차량 스택에 통합하는 방안을 모색해야 한다.