SG CADVLM 안전중요 시나리오 생성을 위한 컨텍스트 인식 디코딩 비전 언어 모델

초록

본 논문은 사고 보고서와 도로 네트워크 다이어그램을 멀티모달 입력으로 활용해, 컨텍스트 인식 디코딩(CAD) 기법을 VLM에 결합한 SG‑CADVLM 프레임워크를 제안한다. 이를 통해 기존 방법이 겪는 ‘컨텍스트 억제’와 ‘환각’ 문제를 완화하고, 도로 기하와 차량 궤적을 동시에 생성함으로써 안전‑중요 시나리오를 84.4% 비율로 생성한다(기존 12.5% 대비 469% 향상).

상세 분석

SG‑CADVLM은 크게 세 단계 파이프라인으로 구성된다. 첫 번째 단계에서는 사고 보고서 텍스트와 도로 사진을 전처리하고, RAG(Retrieval‑Augmented Generation) 모듈을 통해 유사 사례를 검색해 프롬프트에 삽입한다. 이때 멀티모달 인코더가 텍스트와 이미지 특징을 교차‑주의(cross‑attention) 메커니즘으로 융합해 ‘통합 컨텍스트’를 만든다. 두 번째 단계는 컨텍스트 인식 디코딩(CAD)이다. 기존 VLM은 내부 파라메트릭 지식이 외부 입력을 압도해 환각을 일으키지만, CAD는 토큰 확률을 컨텍스트와의 일치도에 따라 대비(contrastive)하게 재조정한다. 구체적으로, 사고 보고서에 명시된 충돌 지점, 차량 종류, 날씨 조건 등을 ‘제약 토큰’으로 지정하고, 디코더는 이 토큰과 높은 유사도를 가진 후보만을 선택하도록 손실 함수를 설계한다. 이렇게 하면 모델이 내부 사전지식보다 외부 제공 정보를 우선시하게 된다. 세 번째 단계에서는 디코더가 생성한 도로 기하 정보를 OpenDRIVE 혹은 SUMO XML 포맷으로 변환하고, 동시에 차량 행동을 Python/SCENIC 스크립트 형태로 출력한다. 생성된 파일은 CARLA 시뮬레이터에 바로 로드 가능하도록 설계돼, 실시간 실행 가능성을 확보한다. 실험에서는 NHTSA 사고 보고서 2,000건을 사용했으며, 기준선으로는 기존 LLM‑VLM 기반 시나리오 생성기와 데이터‑기반 GAN 모델을 채택했다. 평가 지표는 (1) 시나리오 위험도(충돌 확률, PET 감소), (2) 기하학적 정확도(도로 토폴로지 매칭 점수), (3) 실행 가능성(시뮬레이션 오류율)이다. SG‑CADVLM은 위험도 측면에서 PET을 평균 0.84초 감소시켰으며, 도로 토폴로지 매칭 점수가 92%에 달해 기존 방법 대비 30% 이상 개선했다. 또한 시뮬레이션 오류율이 3% 이하로 낮아 실용적 활용 가능성을 입증했다. 한계점으로는 현재 다중 에이전트 상호작용(3대 이상)에서 디코딩 비용이 급증하고, RAG 검색 데이터베이스가 충분히 풍부하지 않을 경우 성능 저하가 발생한다는 점을 언급한다. 향후 연구에서는 효율적인 트리플렛 기반 검색과 라지‑스케일 멀티에이전트 협동 디코딩을 탐색할 계획이다.