조합 행동을 위한 잠재 구형 흐름 정책

초록

본 논문은 조합 최적화 제약을 갖는 대규모 이산 행동 공간에서, 연속적인 잠재 구형 공간에 확률적 흐름 정책을 학습하고, 이를 조합 최적화 솔버에 연결함으로써 행동의 실현 가능성을 보장한다. 비용 벡터를 구면에 제한하고, 구형 흐름 매칭으로 비용 분포를 학습한 뒤, 비용 방향을 선형 목표로 하는 솔버가 최적의 이산 행동을 반환한다. 가치 함수는 동일한 잠재 공간에서 학습하고, 솔버에 의해 발생하는 불연속성을 완화하기 위해 von Mises–Fisher 커널 기반의 스무딩 벨먼 연산자를 도입한다. 실험 결과, 다양한 조합 RL 벤치마크와 실제 STI 검사 스케줄링 문제에서 기존 최첨단 방법보다 평균 20.6 % 높은 성능을 달성한다.

상세 분석

LSFlow는 “솔버‑유도” 정책 구조를 제안한다. 먼저 상태 s에 조건부로 비용 벡터 c∈ℝ^m을 생성하는 연속 확률분포 π_θ(c|s)를 학습한다. 여기서 핵심은 비용 벡터를 단위 구면 S^{m‑1}에 제한함으로써, 선형 목표 cᵀa에 대한 솔버의 스케일 불변성을 활용한다(정리 3.1). 구형 흐름 매칭(Flow Matching) 기법을 사용해 ODE 기반의 벡터장 v_θ(c,s,t)를 학습하고, 투영 연산 Π_c를 통해 샘플이 구면 위에 머무르게 한다. 이렇게 얻은 c는 조합 최적화 솔버에 전달돼 a* = arg min_{a∈A(s)} cᵀa를 계산하고, 최종 행동을 반환한다. 따라서 정책의 확률적 특성은 비용 분포에만 존재하고, 실현 가능성은 솔버가 완전히 보장한다.

정책 업데이트는 전통적인 정책 그라디언트와 달리 비용‑공간 비평가 Q_φ(s,c)를 이용한다. 제안된 가중치 w(s,c)∝exp(λ Q_φ(s,c*))는 비용 샘플을 가치에 따라 재가중하고, 가중된 흐름 매칭 손실 L(θ) 을 최소화한다. 이는 KL‑정규화된 정책 개선 단계와 동등함을 정리 H에서 증명했으며, PPO/TRPO와 유사한 트러스트‑리전 효과를 제공한다.

솔버 매핑은 본질적으로 불연속적이어서 Q‑함수의 베일먼 업데이트가 불안정해질 수 있다. 이를 해결하기 위해 저자들은 von Mises–Fisher(vMF) 커널 K_κ(·|c)로 비용 공간을 스무딩하고, 스무딩된 가치 \tilde Q(s,c) 를 베일먼 타깃으로 사용한다. 정리 3.4는 스무딩 연산자가 고유 고정점을 갖고, 연속적인 가치 함수를 보장함을 보여준다.

효율성 측면에서, 솔버 호출을 정책 업데이트 루프에서 완전히 제거하고, 오직 비평가 학습 시에만 솔버를 사용한다(리플레이 버퍼에 저장된 (s,a,r,s’)를 이용). 이는 연산 비용을 크게 낮추면서도, 솔버가 제공하는 최적성 보장을 유지한다. 실험에서는 라우팅, 서브셋 선택, 스케줄링 등 다양한 조합 MDP에 LSFlow를 적용했으며, 기존 MIP‑기반 가치 최적화, 결정적 구조 정책 등과 비교해 평균 20.6 % 이상의 수익률 향상을 기록했다.

한계로는 솔버의 시간 복잡도가 여전히 전체 파이프라인의 병목이 될 수 있으며, 고차원 m에서 구면 흐름 모델의 학습이 불안정해질 가능성이 있다. 또한 vMF 스무딩 파라미터 κ 선택이 문제마다 민감하게 작용한다는 점이 추가적인 하이퍼파라미터 튜닝을 요구한다.