시각‑언어 메타제어와 이중분기 추론을 통한 안전중심 교통신호 제어 VLMLight

초록

VLMLight는 다중 시점 이미지 기반 교차로 시뮬레이터와 대형 언어 모델(LLM)을 결합해, 일상 교통은 고속 강화학습(RL) 정책으로, 긴급 상황은 협업 LLM 에이전트가 단계별로 판단하도록 설계된 하이브리드 교통신호 제어 프레임워크이다. 실험 결과, 비상 차량 대기시간을 기존 RL 대비 최대 65% 단축하면서도 일반 교통 흐름에서는 성능 저하가 1% 미만에 그쳤다.

상세 분석

VLMLight의 핵심 혁신은 첫 번째 이미지 기반 교통 시뮬레이터를 도입해 교차로를 다중 카메라 시점(조감도 및 각 접근 방향)으로 실시간 시각 정보를 제공한다는 점이다. 이를 통해 차량 종류, 움직임, 밀집도 등 풍부한 시각적 단서를 VLM(Vision‑Language Model)이 자연어 설명으로 변환한다. 생성된 텍스트는 구조화된 형태로 LLM 메타‑컨트롤러에 입력되어 현재 상황이 “일반”인지 “안전‑중요”인지를 판단한다. 일반 상황에서는 사전 학습된 경량 Transformer 기반 RL 정책이 5‑step 시계열 입력을 받아 즉시 신호 위상을 선택해 10 ms 이하의 지연을 유지한다. 반면, 비상 차량 탐지, 교통 사고 등 위험 요소가 감지되면 메타‑컨트롤러가 deliberative branch를 활성화한다. 여기서는 Phase Reasoning, Signal Planning, Rule Verification이라는 세 개의 특화된 LLM 에이전트가 순차적 대화 형태로 교차로 상태를 분석하고, 우선순위가 높은 차량에 녹색 신호를 할당하며, 교통법규와 정책 제약을 검증한다. 이러한 협업 구조는 인간 교통관제사의 의사결정 과정을 모방하면서도 LLM의 일반화 능력을 활용한다. 실험에서는 다양한 교통량과 비상 차량 비율을 조합한 시나리오에서 VLMLight가 평균 대기시간을 크게 감소시켰으며, RL‑only 대비 65%까지 비상 차량 통과 시간을 단축했다. 또한, 일반 교통 상황에서는 RL 정책의 성능을 거의 그대로 유지해 실시간 제어 요구를 만족한다. 한계점으로는 이미지 기반 시뮬레이터의 현실성(조명, 날씨)과 LLM 추론 비용이 아직 완전 최적화되지 않았으며, 메타‑컨트롤러의 임계값 설정이 도메인 전문가 의존성을 남긴다. 향후 연구는 실제 도시 교차로 데이터와 하드웨어 가속 LLM을 결합해 현장 적용성을 높이고, 안전‑중요 판단을 강화학습으로도 보강하는 하이브리드 메타‑학습 방안을 탐색할 수 있다.