위험에 집중하는 방어: 자율주행을 위한 중요도 인식 강인 강화학습

초록

CARRL은 안전에 치명적인 드물고 순간적인 위험을 목표로 하는 적대적 공격자와, 효율성과 안전을 동시에 고려하는 방어 에이전트를 일반-합 게임으로 모델링한다. 공격자는 제한된 예산 안에서 충돌 가능성을 극대화하고, 방어자는 정상·공격 경험을 이중 리플레이 버퍼로 통합해 정책 일관성을 유지한다. 실험 결과, 기존 최첨단 방법 대비 충돌률을 최소 22.66% 감소시켰다.

상세 분석

본 논문은 자율주행(RL 기반) 시스템이 실제 도로에 투입될 때 직면하는 ‘희소하고 치명적인 위험’이라는 특성을 정량화하고, 이를 반영한 새로운 적대적 학습 프레임워크를 제시한다. 기존 연구가 연속적인 공격을 가정하고 제로섬 게임으로 모델링한 것과 달리, CARRL은 일반-합 게임(general‑sum game) 구조를 도입해 공격자와 방어자의 목표가 완전히 대립하지 않음을 명시한다. 이는 실제 도로 상황에서 공격자는 충돌을 일으키는 특정 순간에만 집중하고, 방어자는 충돌 회피와 주행 효율성 사이의 트레이드오프를 최적화해야 하는 현실을 반영한다.

위험 노출 공격자(REA)는 두 단계의 ‘디커플드 최적화’를 수행한다. 첫 번째 단계에서는 제한된 공격 예산(예: 시뮬레이션 시간, 물리적 변형 범위) 내에서 충돌 가능성이 높은 상태·행동 쌍을 탐색한다. 여기서 중요한 것은 ‘희소성’이다; 대부분의 시뮬레이션 단계는 안전하지만, 몇몇 순간만이 위험을 내포한다. REA는 가치 함수와 위험 예측 모델을 활용해 이러한 순간을 선별하고, 두 번째 단계에서 선택된 순간에만 강도 높은 교란을 가한다. 이 과정은 공격 효율성을 극대화하면서도 전체 공격 데이터 양을 현저히 감소시킨다.

공격 데이터가 부족한 상황을 보완하기 위해 위험‑목표 방어 에이전트(RTRA)는 ‘이중 리플레이 버퍼’를 도입한다. 하나는 일반(benign) 경험을 저장하고, 다른 하나는 REA가 생성한 공격 경험을 저장한다. 학습 시 두 버퍼에서 샘플을 균형 있게 추출함으로써 정책이 정상 상황과 공격 상황 모두에 대해 일반화되도록 한다. 또한, 정책 일관성(consistency) 손실을 추가해 동일한 상태에 대한 원본 및 교란된 관측치에 대해 행동 분포가 크게 달라지지 않도록 제약한다. 이는 정책이 급격히 변동하는 것을 방지하고, 학습 안정성을 크게 향상시킨다.

실험은 CARLA 시뮬레이터 기반 여러 주행 시나리오(교차로, 차선 변경, 보행자 회피 등)에서 수행되었으며, 기존의 Adversarial RL, Robust Adversarial Reinforcement Learning (RARL), 그리고 최신의 Risk‑Sensitive RL과 비교하였다. 모든 지표에서 CARRL은 충돌률을 최소 22.66% 감소시켰으며, 주행 시간·연료 효율성 등 부수적인 성능 저하도 미미한 수준에 머물렀다. 특히, 공격 예산이 극히 제한된 상황에서도 REA가 효과적인 ‘스파이크 공격’을 생성해 방어 에이전트의 회복력을 검증했다.

핵심 기여는 다음과 같다. (1) 자율주행에서의 위험 희소성을 명시적으로 모델링한 일반‑합 게임 프레임워크, (2) 제한된 예산 하에서 위험을 집중적으로 노출하는 디커플드 공격 알고리즘, (3) 이중 리플레이 버퍼와 정책 일관성 손실을 통한 데이터 효율적 활용, (4) 실험을 통한 실질적인 충돌 감소 효과 입증. 이러한 설계는 향후 실제 차량에 적용 가능한 강인한 RL 정책 개발에 중요한 방향성을 제시한다.