KnowVal 지식 강화 및 가치 지향 자율주행 시스템

초록

KnowVal은 시각‑언어 추론, 운전 지식 그래프, 그리고 인간 가치 모델을 결합한 자율주행 프레임워크이다. 대규모 언어 모델(LLM)을 이용해 교통법규·방어 운전·윤리 규범을 포함한 지식 그래프를 실시간으로 검색하고, 인간 선호 데이터를 기반으로 학습한 Value Model이 생성된 궤적을 가치‑정렬된 방식으로 평가한다. nuScenes에서 충돌률을 크게 낮추고 Bench2Drive에서 최첨단 성능을 달성함으로써 기존 데이터‑기반 접근법의 한계를 극복한다.

상세 요약

KnowVal 논문은 자율주행 시스템에 ‘지식’과 ‘가치’를 명시적으로 삽입함으로써 기존의 순수 데이터‑드리븐 패러다임을 탈피한다는 점에서 의미가 크다. 첫 번째 핵심 기여는 운전 지식 그래프(Knowledge Graph, KG) 구축이다. 교통법규, 도로 표지, 방어 운전 원칙, 윤리적 판단 기준 등을 정형화된 트리플 형태로 모델링하고, 이를 LLM‑ 기반 검색 엔진과 연결한다. 이때 검색 쿼리는 차량의 현재 시각‑언어 인식 결과(예: “전방에 보행자가 있다”)를 기반으로 자동 생성되며, LLM은 컨텍스트에 맞는 KG 엔티티와 관계를 빠르게 반환한다. 이렇게 얻은 지식은 플래너에 제약조건 혹은 보상 신호로 투입돼, 단순히 과거 데이터에 의존한 행동이 아니라 규칙‑기반 논리를 포함한다.

두 번째 기여는 Value Model이다. 인간 운전자의 선호를 수집한 대규모 데이터셋을 구축하고, 이를 이용해 트리플렛 형태의 ‘가치 점수’를 예측하도록 학습한다. 이 모델은 후보 궤적을 평가할 때 충돌 위험, 법규 위반, 승객 편안함 등 다중 목표를 통합해 스칼라 점수로 변환한다. 특히, 가치 점수는 해석 가능하도록 설계돼, 어떤 규칙이 위반됐는지 혹은 어떤 윤리적 딜레마가 존재했는지를 설명한다. 이는 기존 강화학습 기반 보상 설계가 직관적 해석이 어려운 문제를 보완한다.

시스템 아키텍처는 기존 감지‑예측‑플래닝 파이프라인에 KG‑Retriever와 Value Model을 ‘플러그인’ 형태로 삽입한다. 감지 모듈이 제공하는 3D 라이다·카메라 피처는 LLM‑Retriever와 결합돼 상황에 맞는 지식 조각을 추출하고, 플래너는 이를 제약식으로 변환한다. 플래너가 생성한 다중 궤적 후보는 Value Model에 의해 재평가되어 최종 선택된다. 실험에서는 nuScenes 데이터셋에서 충돌률을 기존 SOTA 대비 30% 이상 감소시켰으며, Bench2Drive라는 가치‑정렬 테스트에서도 최고 점수를 기록했다.

이러한 설계는 몇 가지 한계를 안고 있다. KG 구축 과정에서 도메인 전문가의 주관이 개입될 위험이 있으며, LLM‑Retriever가 잘못된 혹은 모호한 지식을 반환할 경우 플래너가 비합리적인 제약을 받는다. 또한 Value Model은 인간 선호 데이터에 편향될 수 있어, 다양한 문화·법적 환경에 대한 일반화가 필요하다. 향후 연구에서는 자동화된 KG 업데이트, 멀티‑모달 LLM 강화, 그리고 다문화 가치 모델링을 통해 이러한 문제를 보완할 수 있을 것이다.