오프라인‑온라인 강화학습을 위한 노이즈 주입 흐름 매칭

초록

FINO는 흐름 매칭 기반 정책에 학습 단계부터 잡음(노이즈)을 주입해 행동 다양성을 확보하고, 온라인 미세조정 단계에서는 엔트로피 기반 샘플링으로 탐험‑활용 균형을 동적으로 조절한다. 제한된 온라인 상호작용 예산 하에서도 기존 오프라인‑온라인 RL 방법들을 지속적으로 능가한다.

상세 분석

본 논문은 최근 강화학습에서 정책을 고차원 확률 모델로 보는 흐름 매칭(flow matching) 접근을, 오프라인‑온라인(two‑stage) 학습 프레임워크에 맞게 재설계하였다. 핵심 아이디어는 두 단계에 걸쳐 “다양성”을 명시적으로 강화하는 것이다.

1. 오프라인 사전학습 단계 – 노이즈 주입 흐름 매칭
   기존 흐름 매칭(FM)은 베이스 분포 (p_0)와 목표 데이터 (p_1) 사이를 선형 보간한 경로 (x_t=(1-t)x_0+tx_1)에 대해 벡터 필드 (v_\theta(t,x_t))를 학습한다. 이때 (\sigma_{\min}=0)으로 설정하면 경로 분포가 데이터 포인트에 완전히 수축돼, 학습된 정책이 데이터에 과도하게 제한된다. FINO는 시간‑의존 잡음 (\epsilon_t\sim\mathcal N(0,\alpha_t^2 I))를 경로에 추가하고, (\alpha_t^2)를 (\eta) 파라미터에 따라 스케줄링한다(식 7). 이 설계는 두 가지 중요한 효과를 만든다.

   • 조건부 확률 경로의 분산 확대: Proposition 1·Theorem 2에 의해, 잡음이 주입된 경로 (p^{\text{FINO}}_t)는 기존 FM 경로보다 분산이 크며, 특히 (t=1)에서 가장 큰 폭으로 퍼진다. 이는 정책이 데이터에 존재하지 않는 행동 영역까지 탐색 가능한 “잠재적 행동 공간”을 학습한다는 의미다.
   • 연속 정규화 흐름(Normalizing Flow) 보장: Theorem 1은 잡음 주입 후에도 연속성 방정식을 만족하는 유일한 벡터 필드가 존재함을 증명한다. 따라서 학습된 흐름은 확률론적으로 일관된 샘플을 생성하며, 기존 FM의 수렴성·안정성을 유지한다.

2. 온라인 미세조정 단계 – 엔트로피‑가이드 샘플링
   사전학습된 흐름 모델을 통해 다수의 후보 행동 (a_i)를 생성하고, 가치 함수 (Q_\phi(s,a_i))를 이용해 소프트맥스 형태의 확률 (p_{\text{sampling}}(i)=\frac{\exp(\xi Q_\phi(s,a_i))}{\sum_j \exp(\xi Q_\phi(s,a_j))})를 만든다(식 8). 온도 파라미터 (\xi)는 정책 엔트로피 추정에 따라 주기적으로 업데이트되며, 엔트로피가 낮아지면 (\xi)를 감소시켜 탐험을 강화하고, 엔트로피가 높아지면 (\xi)를 증가시켜 활용을 촉진한다. 이 메커니즘은 “다양성 확보 + 가치 기반 선택”을 동시에 만족시켜, 제한된 온라인 샘플링 예산에서도 효율적인 탐험‑활용 트레이드오프를 구현한다.

3. 알고리즘 및 구현

   • 흐름 모델(β_θ)과 단일 스텝 정책(π_ω)을 공동 최적화한다. π_ω는 행동‑가치 최대화와 흐름 모델로부터의 행동 디스틸레이션을 동시에 수행해, ODE 통합 비용 없이 빠른 액션 선택을 가능하게 한다(식 5).
   • 온라인 루프에서는 후보 행동을 N_sample개 샘플링하고, 위의 엔트로피‑가이드 확률에 따라 하나를 선택한다. 이후 TD‑오차 기반으로 Q‑함수와 흐름·π_ω를 업데이트한다.
   • 잡음 스케줄 (\eta)와 온도 (\xi)는 하이퍼파라미터이며, 실험에서는 (\eta)를 0.20.5, (\xi)를 0.11.0 범위에서 선형 감소/증가 전략을 사용한다.

4. 실험 결과

   • OGBench와 D4RL의 45개 복합 환경(antmaze, locomotion, adroit 등)에서 제한된 온라인 스텝(≤100k)으로 평가. FINO는 평균적으로 기존 Flow‑Q‑Learning(FQL)·BCQ·CQL 등 최신 오프라인‑온라인 베이스라인보다 10~25% 높은 최종 점수를 기록했다.
   • 특히 탐험이 어려운 미로 환경(antmaze‑giant‑navigate)에서, FQL은 초기 행동이 데이터에 과도하게 편향돼 목표에 도달하지 못했지만, FINO는 잡음 주입 덕분에 다양한 경로를 시도해 성공률을 크게 끌어올렸다.
   • Ablation study는 (i) 잡음 없이 학습한 FM, (ii) 엔트로피‑가이드 없이 단순 Q‑max 선택, (iii) 두 요소 모두 사용한 FINO를 비교했을 때, 두 요소가 모두 포함될 때 가장 높은 성능을 보임을 확인했다.

5. 의의와 한계

   • 의의: 오프라인 데이터에 내재된 편향을 사전에 “노이즈”라는 형태로 완화함으로써, 온라인 단계에서 별도 데이터 확장 없이도 탐험 능력을 확보한다. 흐름 매칭의 결정적 ODE 기반 특성을 유지하면서도 확률적 다양성을 도입한 점이 혁신적이다.
   • 한계: 잡음 스케줄 (\eta)와 온도 (\xi)가 환경에 민감하게 작용할 수 있어 자동 튜닝 메커니즘이 필요하다. 또한 고차원 연속 행동 공간에서 후보 행동 수(N_sample)가 급증하면 계산 비용이 증가한다는 점이 실시간 로봇 제어 등에 적용할 때 고려해야 할 요소다.

전반적으로 FINO는 흐름 매칭 기반 정책에 탐험성을 내재화하고, 엔트로피‑가이드 샘플링으로 온라인 미세조정을 효율화함으로써, 제한된 온라인 예산 하에서도 오프라인‑온라인 강화학습의 성능 격차를 크게 줄인 새로운 패러다임을 제시한다.