대규모 상태공간을 위한 부분 GFlowNet 전략적 영역 분할로 수렴 가속

초록

본 논문은 기존 GFlowNet이 대규모 상태공간에서 탐색 효율이 떨어지는 문제를 해결하기 위해, 전체 상태공간을 겹치는 부분 영역으로 나누고, 플래너가 이 영역을 순차적으로 선택·전환하도록 설계하였다. 제한된 크기의 부분 공간에서 액터가 집중 탐색하도록 함으로써 고보상 영역을 빠르게 발견하고, 부분 로컬 서치를 통해 후보의 품질과 다양성을 동시에 향상시킨다. 실험 결과, 제안 모델은 여러 베치마크에서 수렴 속도와 최종 보상, 다양성 모두 기존 GFlowNet 기반 방법들을 능가한다.

상세 분석

본 연구는 GFlowNet의 근본적인 한계인 “전역 탐색 비용 폭증”을 부분 공간(partial state space)이라는 개념으로 구조적 완화한다. 플래너(P)와 액터(A)의 이중 구조는 기존 GFlowNet이 하나의 거대한 흐름 그래프 전체에 흐름을 맞추려는 시도와 달리, 작은 서브그래프 R에 대해 흐름을 최적화하고, 플래너가 R의 전환 시점을 판단한다는 점에서 혁신적이다.

1. 부분 공간 정의와 확률적 제약: 논문은 행동 집합 A를 A* (상태와 무관)와 A′ (상태 의존)로 분리하고, A에 대해 유효 확률 p를 부여한다. 유효 행동 집합 Av는 모든 상태에 동일하게 적용되며, 이를 통해 R = {s₀ 혹은 (s′→s)∈A*v ∧ s′∈R} 로 정의한다. 기대값 E