제약이 있는 이중 레벨 강화학습의 샘플 복잡도 분석

초록

본 논문은 제약이 포함된 이중 레벨 강화학습(bilevel RL) 문제를 위한 새로운 알고리즘인 Constrained Bilevel Subgradient Optimization(CBSO)를 제안하고, 이 알고리즘의 이터레이션 복잡도 O(ε⁻²)와 샘플 복잡도 \tilde O(ε⁻⁴)를 이론적으로 증명한다. 비스무스(non‑smooth) 목적함수의 분석을 위해 Moreau envelope와 Clarke 서브다이퍼렌셜을 활용했으며, 제약 위반을 제한하는 페널티 기반 설계와 KL‑조건을 통한 전역 최적성 보장을 제공한다.

상세 분석

이 논문은 최근 메타‑학습, 계층적 학습, 인간 피드백을 이용한 강화학습(RL‑HF) 등에서 자연스럽게 등장하는 이중 레벨 구조를 제약 조건과 결합한 형태, 즉 내부 레벨에 부등식 제약이 존재하는 상황을 다룬다. 기존 연구들은 주로 내부 문제가 강볼록(convex)하거나 제약이 없을 때만 이론적 보장을 제공했으며, 비볼록(non‑convex) 내부 문제와 제약을 동시에 고려한 분석은 거의 없었다. 저자들은 이러한 공백을 메우기 위해 다음과 같은 핵심 아이디어를 제시한다.

1. 페널티 기반 재구성: 원래의 이중 레벨 문제를 직접 프라임‑듀얼 방식으로 풀 수 없으므로, 내부 최적화와 제약을 하나의 페널티 항으로 결합한다. 이때 사용된 페널티는 (h_{+}(y)=\max{h(y)-c_0,0}) 형태이며, 두 레벨의 페널티 계수 (\sigma_1,\sigma_2,\sigma_3)를 적절히 조정해 제약 위반을 임의의 작은 (\epsilon_\lambda) 이하로 제한한다.

2. 비스무스 최적화와 Moreau Envelope: 페널티 항이 절댓값 형태를 포함하면서 비스무스가 되므로, 전통적인 그라디언트 기반 수렴 분석이 불가능하다. 저자들은 Moreau envelope (M_\lambda(f))를 도입해 원래 함수와 동일한 전역 최적점을 보존하면서 부드러운 근사함수를 만든다. 이를 통해 Clarke 서브다이퍼렌셜을 사용한 서브그라디언트 하강법의 수렴을 보장한다.

3. KL‑조건 → PL‑조건 → QG‑조건: 내부 목적함수 (g(x,y))에 대해 Kurdyka‑Łojasiewicz(KL) 조건을 가정하고, 이를 Moreau envelope에 적용해 Polyak‑Łojasiewicz(PL) 조건을 도출한다. PL 조건은 다시 Quadratic Growth(QG) 조건을 유도하는데, QG는 전역 최적성 보장을 위한 핵심 전제이다. 이러한 연쇄적 조건 전이는 비볼록 문제에서도 전역 최적점에 대한 수렴률을 확보하는 데 필수적이다.

4. ρ‑hypomonotonicity: 외부 레벨과 내부 레벨 모두에서 업데이트가 충분히 감소하도록 보장하기 위해 ρ‑hypomonotonicity를 도입한다. 이는 서브그라디언트가 완전 단조(monotone)하지 않을 때도 일정 수준의 감소를 확보하게 해준다.

5. 알고리즘 설계(CBSO): 두 개의 정책 파라미터 (y)와 (z)를 독립적으로 서브그라디언트 업데이트한다. (y)는 외부 목적 (f)와 내부 목적 (g) 및 제약 페널티를 동시에 최소화하고, (z)는 내부 목적과 제약 페널티만 최소화한다. 내부 업데이트를 (K)번 수행한 뒤, 외부 파라미터 (x)를 (\phi(x,y_K,z_K))의 서브그라디언트로 업데이트한다. 전체 복합 업데이트는 샘플 배치 (B)를 이용해 추정된 서브그라디언트를 사용한다.

6. 복잡도 결과: 위의 구조적 가정과 분석을 바탕으로, 전체 알고리즘이 (\epsilon) 정확도에 도달하기 위해 필요한 이터레이션 수는 (O(\epsilon^{-2}))이며, 각 이터레이션당 요구되는 샘플 수는 (\tilde O(\epsilon^{-2}))이다. 따라서 전체 샘플 복잡도는 (\tilde O(\epsilon^{-4}))가 된다. 이는 기존 무제약 이중 레벨 RL(예: Gaur et al., 2025)보다 동일하거나 더 나은 차수를 유지하면서, 제약을 포함한 비볼록 설정까지 확장한 최초의 결과이다.

7. 의의와 한계: 본 연구는 제약이 있는 이중 레벨 RL에 대한 최초의 비스무스 이론을 제공함으로써, 안전·윤리적 제약을 고려한 대형 언어 모델(LM) 훈련 등에 직접 적용 가능성을 열었다. 다만, KL‑조건과 QG‑조건이 실제 RL 환경에서 얼마나 자연스럽게 만족되는지는 경험적 검증이 필요하며, 페널티 계수 선택이 실용적인 성능에 미치는 영향도 추가 연구가 요구된다.