보상 보존 공격을 통한 강인 강화학습

초록

본 논문은 강화학습에서 적대적 공격의 강도를 상태별로 동적으로 조절하는 “보상 보존 공격”을 제안한다. α 비율만큼의 명시적 보상 차이를 유지하도록 공격 강도를 선택하고, 이를 추정하기 위해 Q((s,a),η) 비평가를 학습한다. 실험 결과, 고정 반경 공격보다 넓은 범위의 교란에 대해 견고하면서도 명시적 성능을 크게 손상시키지 않는 정책을 얻는다.

상세 분석

이 연구는 강화학습(RL)에서 적대적 훈련이 직면하는 핵심 난제, 즉 교란이 시간에 따라 누적되어 고정된 강도의 공격이 과도하게 파괴적이거나 지나치게 보수적이 되는 문제를 해결하고자 한다. 저자들은 “보상 보존(Reward‑Preserving) 공격”이라는 새로운 개념을 도입한다. 구체적으로, 주어진 상태‑행동 쌍 (s,a) 에 대해 최악의 공격 ξ* 로부터 얻어지는 Q*₍Ω,ξ*₎(s,a) 와 명시적 MDP Ω 에서의 최적 Q*₍Ω₎(s,a) 사이의 차이를 Δ(s,a)=Q*₍Ω₎(s,a)−Q*₍Ω,ξ*₎(s,a) 로 정의하고, 공격 ξ가 α‑Reward‑Preserving 이 되려면 Q*₍Ω,ξ₎(s,a) ≥ Q*₍Ω,ξ*₎(s,a)+α·Δ(s,a) 를 만족해야 한다. 즉, 최악 상황 대비 α 비율만큼의 보상 여유를 유지한다는 의미다.

이 정의는 단순히 명시적 MDP와 최악의 MDP를 선형 혼합하는 것과는 근본적으로 다르다. 혼합은 Q‑값 자체가 보장되지 않으며, 실제 MDP가 존재하지 않을 수 있다. 반면 보상 보존 공격은 최적 정책이 변형된 MDP에서도 여전히 일정 수준의 기대 보상을 확보하도록 강제한다.

탭형(표형) 설정에서는 α‑Reward‑Preserving 공격을 구현하기 위해 기존의 Robust Value Iteration(RVI)을 확장한다. 그러나 ξ가 최적 정책에 의존하는 비선형 제약을 갖기 때문에, 단순한 보간식 ˆQ(s,a)=Q*₍Ω,ξ*₎(s,a)+α·Δ(s,a) 는 Bellman 방정식을 만족하지 않는다. 저자들은 이를 보완하기 위해 두 단계 최적화를 제시한다. 첫 단계에서는 현재 정책 π에 대해 ξ∈Ξα(s,a) 중 Qπ,Ωξ(s,a)를 최소화하는 최악의 공격을 찾고, 두 번째 단계에서는 해당 ξ에 대해 정책을 업데이트한다. 이 과정은 정책‑공격 쌍을 교대로 최적화함으로써 수렴을 유도한다.

딥 RL 환경에서는 공격 강도 η 를 연속적인 스칼라 변수로 두고, Q((s,a),η) 라는 비평가 네트워크를 학습한다. 이 네트워크는 주어진 η 에 대해 α‑Reward‑Preserving 롤아웃의 기대 반환을 추정한다. 학습 중에는 η 를 그라디언트 기반으로 조정하여, 현재 상태에서 α 비율을 만족시키는 최소의 η 를 선택한다. 따라서 교란 강도가 상태별로 자동 조절되며, 위험도가 높은 “브릿지”와 같은 지역에서는 작은 η 가, 안전한 지역에서는 큰 η 가 적용된다.

이론적 분석에서는 두 가지 중요한 성질을 제시한다. 첫 번째는 충분히 큰 불확실성 집합 B 에서 최악의 공격이 모든 Q‑값을 동일한 최소 보상 R_min 으로 만들 경우, α‑Reward‑Preserving 공격은 보상 구조 자체를 보존한다는 것(Reward Structure Preservation)이다. 즉, 최적 정책은 명시적 MDP와 동일하게 유지된다. 두 번째는 α 값에 따라 정책이 위험 회피와 명시적 보상 사이에서 어떻게 전환되는지를 정량화한 “선호 역전 조건”이다. α<0.5이면 최악 상황에 대한 견고함이 우선시되어 위험 회피 행동이 강화되고, α>0.5이면 명시적 보상이 더 큰 영향을 미친다.

실험에서는 GridWorld, MuJoCo 연속 제어, Atari 비디오 게임 등 다양한 도메인에서 고정 반경(L₂, L∞) 공격, 무작위 반경 샘플링, 그리고 제안된 α‑Reward‑Preserving 공격을 비교한다. 결과는 α를 중간값(예: 0.3~0.5)으로 설정했을 때, 정책이 넓은 η 범위에 대해 일관된 성능을 유지하면서도 명시적 성능 저하가 거의 없음을 보여준다. 특히, 교란이 특정 지역에 집중되는 경우(브릿지 상황)에는 기존 방법이 학습을 방해하거나 정책을 과도하게 보수적으로 만들지만, 제안 방법은 해당 지역에서만 교란 강도를 낮춰 정상적인 경로를 학습하도록 유도한다.

전반적으로 이 논문은 “보상 보존”이라는 새로운 제약을 통해 적대적 훈련의 과도한 보수성 문제를 완화하고, 상태‑의존적인 교란 강도 조절 메커니즘을 제공한다. 이는 강화학습 에이전트가 실제 환경에서 다양한 수준의 불확실성에 직면했을 때, 안전성과 효율성을 동시에 달성할 수 있는 실용적인 프레임워크로 평가된다.