불확실성 기반 적응 탐색 프레임워크

초록

본 논문은 에이전트가 상태별 불확실성을 정량화하고, 그 불확실성에 비례하는 행동 분포의 폭을 조절함으로써 탐색과 활용을 에피소드 내부에서 자동 전환하도록 하는 ADEU(Adaptive Exploration via Uncertainty)라는 일반화된 프레임워크를 제안한다. 기존 탐색 기법을 특수 사례로 포함하며, 다양한 불확실성 측정 방법과 결합해 로봇 제어와 복잡 미로와 같은 환경에서 성능 향상을 입증한다.

상세 분석

ADEU는 “불확실성 f(s)”와 “정규화 g(·)”라는 두 함수만 정의하면 어떠한 불확실성 측정 메커니즘도 그대로 활용할 수 있는 모듈식 설계를 갖는다. 핵심 아이디어는 현재 정책 π(s)의 평균값을 중심으로, 분산을 g(f(s))로 설정한 확률분포 D (연속이면 가우시안, 이산이면 멀티노미얼)에서 행동 a를 샘플링하는 것이다. 불확실성이 낮을 때는 분산이 작아 π(s)와 거의 동일한 행동을 선택해 기존 궤적을 재현하고, 불확실성이 높을 때는 분산이 커져 다양한 행동을 시도하게 된다. 이 방식은 ε‑greedy와 같은 고정 탐색 비율을 사용하거나, “높은 불확실성 상태만 탐색”하는 전통적 방법이 초과 탐색이나 과소 탐색을 일으키는 문제를 자연스럽게 해결한다.

논문은 ADEU를 두 가지 주요 실험군에 적용한다. 첫 번째는 Walker 로봇의 2‑D 보행 과제이며, 여기서는 기존의 불확실성 기반 탐색(예: Bayesian DQN, Bootstrapped DQN)과 비교해 학습 속도와 최종 성공률이 크게 개선된다. 두 번째는 DeepSea와 변형된 FrozenLake와 같은 고정 보상 증가형 게임이다. 이들 환경은 “한 번만 올바른 행동을 찾으면 이후 탐색이 불필요한” 구조를 가지고 있어, ADEU가 f(s)를 통해 탐색을 조기에 종료하고 바로 최적 정책으로 전이하는 모습을 보인다.

이론적으로는 “Increasing‑Reward Single‑Agent Games”라는 정의를 도입해, 최적 행동 b = argmaxₐ r(s,a)를 찾은 뒤는 탐색을 멈추는 것이 최적임을 증명한다. ADEU는 f(s)가 충분히 정확히 불확실성을 반영한다면, 해당 게임에서 효율적인 탐색을 보장한다는 정리를 제시한다. 또한, 안전이 중요한 도메인에 적용하기 위해 f(s)를 위험도와 결합한 변형을 제안하고, 초기 실험에서 에피소드 중단을 현저히 감소시켰다.

전체적으로 ADEU는 (1) 불확실성 측정 방법의 자유로운 교체, (2) 탐색‑활용 전환을 확률적 분포의 분산으로 자연스럽게 구현, (3) 기존 방법을 특수 사례로 포함하는 일반화된 프레임워크라는 세 가지 장점을 갖는다. 다만 f(s)와 g(·)의 설계가 성능에 큰 영향을 미치며, 복잡한 연속 제어 환경에서는 분산 조절을 위한 스케일링 파라미터 선택이 여전히 경험적이다. 향후 연구에서는 f(s)를 메타‑러닝으로 자동 튜닝하거나, 위험‑불확실성 트레이드오프를 다중 목표 최적화로 확장하는 방향이 기대된다.