구조에서 얻은 신호: 서브모듈러 상한을 활용한 생성 흐름 네트워크

초록

본 논문은 보상 함수가 서브모듈러인 경우, 중간 상태에서 관측된 보상을 이용해 미관측 종료 상태에 대한 상한값을 계산하고, 이를 낙관적 학습 신호로 활용하는 SUBo‑GFN을 제안한다. 이 방법은 동일한 보상 호출 횟수 대비 학습 데이터 양을 크게 늘려, 분포 매칭과 고품질 후보 생성에서 기존 GFN보다 우수한 성능을 보인다.

상세 분석

본 연구는 생성 흐름 네트워크(GFN)의 핵심 학습 신호인 보상값이 서브모듈러(set function)라는 구조적 가정을 도입함으로써, 기존의 “보상은 최종 상태에서만 관측된다”는 제한을 완화한다. 서브모듈러는 ‘감소 수익(diminishing returns)’ 특성을 가지며, 이는 작은 집합에 원소를 추가할 때의 증분이 큰 집합에 추가할 때보다 크다는 수학적 불등식으로 표현된다. 논문은 이 특성을 이용해, 중간 상태 s와 그에 포함되지 않은 원소 a에 대해
(R(x) \le UB(x|s,a)=R(s\cup{a})-R(s)+R(x\setminus{a}))
라는 상한식을 유도한다. 여기서 x는 목표 종료 상태이며, s는 x의 부분집합이다. s가 x에 가까워질수록 상한은 실제 보상에 근접한다는 점이 핵심이다.

이 상한을 데이터 증강으로 활용하기 위해 저자는 두 종류의 궤적을 정의한다. 첫 번째는 x의 부모 (p_{x,a}=x\setminus{a}) 를 지나 다른 종료 상태로 끝나는 “부모 궤적”이며, 두 번째는 s 를 거쳐 s∪{a} 로 전이한 뒤 또 다른 종료 상태로 끝나는 “호환 궤적”이다. 각각의 궤적 쌍은 하나의 상한을 제공한다. 논문은 균등하게 궤적을 수집했을 때(ε‑greedy 정책도 포함) 기대되는 상한의 개수와 상한이 생성될 확률을 조합론적 방법과 Janson 부등식을 이용해 정량화한다. 특히 Proposition 4.5와 Theorem 4.6은 상한의 기대 개수가 (Ω(NC!·(1−C^{−1})^{N(C−1)}·(1−e^{−m/(NC)}) )) 와 같은 형태로, 샘플 수 m이 증가함에 따라 급격히 늘어남을 보인다.

이론적 기반 위에 제안된 SUBo‑GFN은 상한을 낙관적 보상으로 사용해 정책 (P_F)와 (P_B)를 업데이트한다. 즉, 실제 보상이 관측되지 않은 상태에 대해 상한을 “가상의 보상”으로 대입함으로써, 동일한 보상 호출 횟수 내에서 훨씬 더 많은 학습 신호를 생성한다. 실험에서는 합성 서브모듈러 문제와 실제 센서 선택·영향력 최대화 과제에서, 기존 GFN 대비 10‑100배 수준의 데이터 효율성을 보였으며, KL‑divergence와 최고 보상 후보 비율 모두에서 유의미한 개선을 기록했다.

이 접근법은 서브모듈러 보상이 자연스럽게 존재하는 조합 최적화·생물학·네트워크 설계 분야에 직접 적용 가능하며, 보상 구조를 활용한 탐색‑활용 균형을 이론적으로 뒷받침한다는 점에서 GFN 연구에 새로운 패러다임을 제시한다.