오프라인 목표조건 강화학습에서 하이퍼파라미터 민감도는 언제 완화되는가

초록

이 논문은 오프라인 목표조건 강화학습 환경에서 하이퍼파라미터 민감도를 체계적으로 조사한다. 고정된 데이터 분포와 데이터 품질 변화를 단계적으로 조절함으로써 부트스트랩 방식(HIQL)과 비부트스트랩 방식(QRL)의 민감도 차이를 비교한다. 실험 결과, 전문가 데이터가 약 20%만 포함돼도 QRL은 넓고 안정적인 최적 영역을 유지하지만, HIQL은 급격한 최적점 이동과 높은 민감도를 보인다. 저자는 목표 간 그래디언트 정렬을 진단 지표로 제시하고, 부트스트랩 목표가 파괴적 그래디언트 간섭을 일으켜 민감도를 높인다는 메커니즘을 제안한다.

상세 분석

본 연구는 온라인 강화학습에서 흔히 관찰되는 하이퍼파라미터 민감도가 근본적인 RL 문제의 속성인지, 아니면 특정 학습 메커니즘에 의해 증폭되는지에 대한 근본적인 질문을 제기한다. 이를 검증하기 위해 저자들은 두 가지 핵심 설계를 도입한다. 첫째, 오프라인 목표조건 강화학습(GCRL)이라는 설정을 선택해 데이터 분포를 고정함으로써 탐색과 데이터 생성의 변동성을 제거한다. 둘째, 데이터 품질을 전문가(Expert)와 탐험(Explore) 궤적의 비율로 조절하고, 단계별로 품질이 향상되는 스케줄을 적용해 훈련 과정의 비정상성을 의도적으로 만들었다. 이러한 통제된 환경에서 두 알고리즘을 비교한다. HIQL은 부트스트랩된 TD‑학습을 기반으로 목표조건 가치함수 V(s,g)를 기대값 회귀(expectile regression)로 학습하고, 학습 단계마다 V(s′,g)라는 부트스트랩 타깃에 의존한다. 반면 QRL은 목표와 상태 사이의 거리 역할을 하는 쿼시메트릭 dϕ(s,g)를 학습하며, 벨만 업데이트와 같은 재귀적 타깃을 사용하지 않는다.

실험은 학습률, 할인율, 타깃 업데이트 주기 등 주요 하이퍼파라미터 2~3개를 조합해 광범위한 그리드 탐색을 수행하고, 각 설정에 대해 성공률과 정규화된 거리 반환(Rdist)을 측정한다. 저자들은 세 가지 정량적 지표를 도입했다. (i) ε‑optimality mass ρ_ε는 전체 설정 중 최상위 ε 비율 이상을 달성한 비율을 나타내어 “넓은 최적 영역”을 정량화한다. (ii) phase‑to‑phase drift Δ는 연속 단계 사이에서 최적 설정이 얼마나 변했는지를 평균 절대 차이로 측정한다. (iii) early‑selection regret r은 초기 단계에서 선택한 하이퍼파라미터가 이후 단계에서 얼마나 성능 손실을 초래했는지를 나타낸다.

결과는 두 알고리즘 사이에 뚜렷한 차이를 보여준다. QRL은 전문가 데이터 비율이 20% 이상일 때 ρ_ε가 크게 증가하고, Δ와 r이 모두 낮아 “광범위하고 안정적인” 최적 영역을 형성한다. 반면 HIQL은 동일한 데이터 비율에서도 최적 영역이 좁고, 단계가 바뀔 때마다 최적 하이퍼파라미터가 급격히 이동한다(Δ가 크게 나타남). 특히 비정상적 스케줄(탐험 → 전문가)에서는 HIQL의 최적점이 크게 드리프트하고, 초기 선택이 나중에 큰 후회를 초래한다(r이 크게 증가).

이 차이를 설명하기 위해 저자들은 “inter‑goal gradient alignment”이라는 진단을 도입한다. 미니배치와 목표 재라벨링을 통해 얻은 그래디언트 g(g)를 정규화하고, 서로 다른 목표 간 코사인 유사도 κ(g,g′)를 계산한다. κ가 음수이면 파괴적 간섭을 의미한다. 실험 결과, HIQL은 κ의 분포가 넓고 음수 꼬리 부분이 크게 나타나, 목표 간 그래디언트가 서로 충돌하는 현상이 빈번함을 보여준다. 반면 QRL은 κ가 1에 가깝게 집중되어 목표 간 업데이트 방향이 일관된다. 이는 부트스트랩 타깃이 다른 상태·목표 쌍에 걸쳐 상호 의존성을 만들고, 데이터 품질 변화에 따라 그래디언트 간섭이 심화되어 하이퍼파라미터 민감도가 증폭된다는 메커니즘을 뒷받침한다.

이러한 분석을 통해 논문은 “하이퍼파라미터 민감도는 RL 고유의 불가피한 현상이 아니라, 부트스트랩 방식이 야기하는 그래디언트 간섭과 데이터 품질 변동에 크게 좌우된다”는 결론을 제시한다. 이는 향후 알고리즘 설계 시 부트스트랩 의존성을 최소화하거나, 그래디언트 정렬을 보장하는 구조적 손실을 도입함으로써 더 견고한 학습을 구현할 수 있음을 시사한다.