맞춤형 차선변경 시작 학습을 위한 강화학습 기반 자율주행

초록

본 논문은 인간‑컴퓨터 상호작용을 통해 운전자의 개인적 차선변경 선호를 강화학습(RL)으로 학습한다. 사용자의 긍정·부정 피드백을 보상·벌점으로 활용해 오프라인으로 정책을 최적화하고, 다차원 교통 상황을 고려한 모델이 개인 맞춤형 정확도 86.1%를 달성했다.

상세 분석

이 연구는 기존의 모방학습(imitative learning) 방식이 요구하는 대량의 인간 운전 데이터와 달리, 운전자가 직접 제공하는 피드백만으로 개인화된 차선변경 시작 정책을 학습한다는 점에서 혁신적이다. 강화학습 프레임워크는 상태 S를 교통 맥락(전방 차량 거리·속도, 차선 밀도, 주변 차량 의도 등)과 차량 자체 행동(가속·감속·차선 유지)으로 정의하고, 행동 A는 ‘차선변경 시작’ 혹은 ‘유지’ 두 가지 이산 선택으로 제한한다. 보상 R은 사용자가 ‘편안함’ 혹은 ‘불편함’이라고 평가한 피드백에 따라 +1 또는 –1을 부여한다. 이때 보상 설계는 즉각적인 피드백을 반영하므로, 정책 πθ는 사용자 선호와 직접적으로 매핑된다.

오프라인 학습은 수집된 (S, A, R) 트리플을 이용해 정책 그라디언트를 추정하는 REINFORCE 기반 알고리즘을 변형한다. 샘플 효율성을 높이기 위해 중요도 가중치와 베이스라인을 도입해 편향을 감소시켰으며, 다중 사용자 데이터를 동시에 학습함으로써 개인별 파라미터 θu를 초기화하고 점진적으로 업데이트한다. 또한, 다차원 시나리오 모델링은 차선변경의 비용(시간 손실, 안전 위험, 승차감 저하)을 각각 가중치로 표현해 다목적 최적화 문제로 전환한다. 이는 단순히 ‘차선변경 여부’만을 판단하던 기존 연구와 차별화되며, 실제 도로에서 발생하는 복합적인 트레이드오프를 반영한다.

실험에서는 30명의 참가자를 대상으로 시뮬레이터 기반 테스트를 수행했으며, 개인화 모델은 평균 정확도 86.1%를 기록, 비개인화(전체 사용자 평균 정책) 모델의 75.7%를 크게 앞섰다. 특히, 피드백 빈도가 높은 사용자일수록 학습 속도가 급격히 상승했으며, 피드백이 적은 경우에도 사전 학습된 일반 정책을 기반으로 빠르게 맞춤형 정책으로 전이되는 모습을 보였다. 한계점으로는 피드백 지연(사용자가 실제 주행 중에 즉시 평가하기 어려움)과 피드백의 주관성(감정 상태에 따라 변동) 등이 있으며, 향후에는 연속적인 피드백(예: 스코어링)과 멀티모달 감정 인식을 결합해 보상 함수를 정교화할 계획이다.

전반적으로 이 논문은 인간‑컴퓨터 인터랙션을 강화학습에 접목해 ‘사용자 중심’ 자율주행을 구현하는 실용적 경로를 제시한다. 개인화된 차선변경 정책은 승차감 향상과 사용자 신뢰도 증대에 직접 기여할 수 있으며, 향후 고레벨 자율주행(레벨 4·5) 상용화 단계에서 중요한 차별화 요소가 될 전망이다.