비평가를 탐험가로 전환한 CAE: 경량형 탐색 기법

초록

CAE는 기존 딥 강화학습 알고리즘의 가치 네트워크(critic)를 그대로 활용해 탐색 보너스를 생성하는 방법이다. 추가 파라미터 없이 약 10줄의 코드만으로 구현 가능하며, 다중 팔 밴드(MAB) 이론을 적용해 서브선형 regret 보장을 제공한다. 복잡한 환경에서는 경량 보조 네트워크를 추가한 CAE+를 제안해 파라미터 증가를 1% 이하로 제한한다. MuJoCo, MiniHack, Habitat 등 다양한 벤치마크에서 기존 탐색 기법을 능가한다.

상세 분석

본 논문은 탐색 문제를 “가치 함수의 불확실성”이라는 관점에서 재정의한다. 기존 딥 RL에서는 ε‑greedy, 행동 노이즈, 혹은 별도 보조 네트워크(RND, ICM 등)를 통해 탐색 보너스를 만들었지만, 이는 추가 연산·파라미터 비용과 이론적 보장이 부족한 경우가 많았다. CAE는 가치 함수 Q(s,a)=θᵀϕ(s,a) 를 두 단계로 분리한다. ϕ(s,a)는 기존 critic의 임베딩 레이어이며, θ는 임베딩 위에 얹는 선형 가중치이다. 이렇게 하면 임베딩은 복잡한 비선형 표현력을 유지하면서, 선형 MAB 이론을 바로 적용할 수 있는 “컨텍스트”가 된다.

불확실성 보너스 β(s,a)는 두 가지 전형적인 MAB 기법—UCB와 Thompson Sampling—을 이용해 정의된다. UCB에서는 β(s,a)=√{ϕ(s,a)ᵀA⁻¹ϕ(s,a)} 로, A는 현재까지 관측된 임베딩들의 그램 행렬이며, 매 스텝마다 A←A+ϕϕᵀ 로 업데이트된다. TS는 θ의 사후분포를 N(θ̂, A⁻¹) 로 가정하고, Δθ∼N(0,A⁻¹) 를 샘플링해 β(s,a)=Δθᵀϕ(s,a) 로 계산한다. 이때 α라는 스케일링 계수를 곱해 탐색 강도를 조절한다.

핵심 기술적 기여는 다음과 같다.

1. 파라미터 프리 탐색: 기존 critic의 임베딩을 재활용하므로 추가 파라미터가 전혀 필요 없으며, 구현 라인 수는 약 10줄에 불과하다.
2. 스케일링 전략: 탐색 보너스가 Bellman 손실과 경쟁하지 않도록, 고전적인 스케일링(예: Welford 1962) 기법을 적용해 보너스 크기를 적절히 조정한다. 이는 학습 안정성을 크게 향상시킨다.
3. 이론적 보장: 임베딩을 고정된 차원 d로 가정하고, 선형 MAB의 서브선형 regret O(√{T·d·log T}) 를 그대로 가져온다. 따라서 에피소드 T가 커질수록 평균 손실이 0에 수렴한다는 강력한 이론적 결과를 제공한다.
4. CAE+ 설계: 매우 희소 보상이 존재하는 복잡 환경에서는 critic 자체가 충분히 신뢰할 수 없는 경우가 있다. 이를 보완하기 위해 “경량 보조 네트워크” f=¯f∘U 를 추가한다. 이 네트워크는 역동성을 크게 방해하지 않으면서, 임베딩에 대한 추가 정보를 제공한다. 파라미터 증가율은 <1%이며, 코드 라인도 10줄 정도만 추가된다.

실험에서는 PPO, SAC, TD3, DSA‑C 등 최신 딥 RL 베이스라인에 CAE/CAE+를 삽입했다. MuJoCo 연속 제어 과제에서는 수렴 속도가 빨라지고 최종 성능이 평균 5~12% 향상되었다. MiniHack과 Habitat 같은 희소·보상‑프리 환경에서는 기존 탐색 보너스(RND, E3B 등)보다 높은 성공률과 더 빠른 탐색 커버리지를 기록했다. 특히 CAE+는 복잡한 미로 탐색에서 탐색 효율성을 30% 이상 끌어올렸다.

계산 복잡도 측면에서, 기존 Neural‑UCB·Neural‑TS는 O(n³) (n: 네트워크 파라미터) 비용이 발생하지만, CAE는 임베딩 차원 d (보통 256~512)만을 대상으로 그램 행렬을 유지하므로 O(d²) 수준에 머문다. 따라서 대규모 실험에서도 GPU 메모리와 연산량이 크게 증가하지 않는다.

전체적으로 CAE는 “critic을 그대로 탐색 엔진으로 전환”한다는 간단하면서도 강력한 아이디어를 제시한다. 이론적 regret 보장, 최소 파라미터 오버헤드, 그리고 다양한 베이스라인에 대한 호환성을 동시에 만족시켜, 실무와 연구 양쪽 모두에서 즉시 적용 가능한 탐색 프레임워크로 평가할 수 있다.