불완전한 인식 속에서도 안전하게: LLM 상식 기반 자율주행 위험 회피 전략

초록

자율주행 차량의 센서 결함이나 공격으로 인한 부분적 인식 손실은 안전을 위협할 수 있습니다. 기존 안전 대책은 모든 상황에서 즉각 정지하는 등 지나치게 보수적이어서 주행 효율을 떨어뜨립니다. 이 연구는 대형 언어 모델(LLM)의 상식과 추론 능력을 활용해, 인식이 불완전한 상황에서도 잠재적 위험을 추론하고 상황에 맞는 적응형 주행 전략(예: 서행 진행 또는 정지-관찰-재개)을 생성하는 ‘LLM-RCO’ 프레임워크를 제안합니다. 인식 결함 시나리오를 포함한 대규모 데이터셋(DriveLM-Deficit)을 구축해 LLM을 미세 조정했으며, CARLA 시뮬레이터 실험을 통해 기존 방법보다 더 유연하고 안전한 주행이 가능함을 입증했습니다.

상세 분석

본 논문이 제안하는 LLM-RCO 프레임워크의 기술적 핵심은 ‘계획-실행’ 분리 구조와 LLM의 상식을 구체적인 주행 모듈에 통합한 점에 있습니다. 기존 엔드투엔드 LLM 주행 에이전트와 달리, LLM-RCO는 실시간 명령 생성을 지양하고 ‘단기 모션 계획’ 단계에서 여러 단계의 ‘조건-행동’ 쌍을 미리 생성합니다. 이는 LLM 호출 빈도를 줄여 지연을 최소화하면서도, ‘행동 조건 검증기’를 통해 실시간 환경 변화에 따라 계획을 안전하게 조정할 수 있는 유연성을 확보한 설계입니다.

가장 혁신적인 통찰은 LLM의 강점을 ‘위험 추론’이라는 구체적이고 중요한 태스크에 집중시킨 것입니다. 인식 결함 영역에서 ‘무엇이 위험할 수 있는가’를 과거 프레임의 문맥을 통해 추론하도록 LLM을 유도함으로써, 단순히 보이는 데이터만으로 판단하는 기존 접근법의 한계를 넘어섭니다. 이는 인간 운전자가 시야가 가려졌을 때 주변 맥락과 상식을 통해 위험을 예측하는 방식을 모방한 것입니다.

또한, ‘정지-관찰-재개’와 ‘서행 진행’이라는 두 가지 상위 전략을 제시한 것은 위험 수준에 따른 차별화된 대응을 가능하게 합니다. 모든 불확실성을 동일한 최악의 시나리오로 간주하는 것이 아니라, LLM의 추론 결과에 따라 위험도가 낮다고 판단되면 완전 정지 없이 조심스럽게 진행할 수 있는 논리적 근거를 마련했습니다.

데이터셋 DriveLM-Deficit 구축과 LLM 미세 조정은 이론적 프레임워크를 실현 가능하게 만든 실용적 기여입니다. 자율주행의 ‘긴꼬리’ 문제에 해당하는 인식 결함 상황에 대한 체계적 데이터가 부족한 현실에서, 이 데이터셋은 LLM이 해당 시나리오에서 합리적인 판단을 내리도록 가르치는 데 필수적입니다. 결론적으로, 이 연구는 LLM을 자율주행의 ‘비상시 두뇌’로 활용하여 시스템의 견고성을 높이는 새로운 패러다임을 제시하며, 안전과 효율성의 새로운 균형점을 모색했다는 점에서 의미가 깊습니다.