순서 무관 강화학습 기반 블랙박스 조합 최적화

초록

본 논문은 변수 순서에 의존하지 않는 강화학습 프레임워크를 제안한다. 무작위 생성 순서를 이용해 다변량 자기회귀 생성 모델을 학습하고, 이를 Group Relative Policy Optimization(GRPO)과 결합해 샘플 효율성을 높인다. 실험 결과, 다양한 이산 조합 최적화 벤치마크에서 기존 EDA·BO·EA 방법들을 지속적으로 능가한다.

상세 분석

이 연구는 전통적인 추정분포알고리즘(EDA)이 변수 간 의존 그래프를 명시적으로 학습해야 하는 한계를 지적하고, 이를 신경망 기반 자기회귀 모델로 대체한다는 근본적인 아이디어를 제시한다. 핵심은 “순서 무관(order‑invariant)”이라는 특성을 모델에 강제함으로써, 학습 과정에서 임의의 변수 순서를 샘플링하고 이를 일종의 정보 보존 드롭아웃으로 활용한다는 점이다. 이렇게 하면 모델이 특정 순서에 과도하게 적합되는 위험을 피하고, 변수 간 실제 의존 관계만을 효율적으로 학습하게 된다.

모델은 각 변수 (X_j)를 이전에 선택된 변수들의 집합에 조건부로 예측하는 다층 퍼셉트론(MLP) 형태의 정책 (\pi_\theta)로 구현된다. 순서가 무작위로 바뀔 때마다 입력 벡터가 달라지므로, 동일한 파라미터가 다양한 컨텍스트에서 학습된다. 이는 변수 간 상호작용을 포괄적으로 탐색하게 만들며, 특히 고차원·고복잡도 문제에서 샘플 효율성을 크게 향상시킨다.

강화학습 측면에서는 Group Relative Policy Optimization(GRPO)을 기반으로 정책 업데이트를 수행한다. GRPO는 개별 샘플의 절대 보상 대신, 같은 배치 내에서의 순위 기반 ‘그룹 상대 이점’(group‑relative advantage)을 사용한다. 이 방식은 보상의 스케일에 무관하게 안정적인 그라디언트를 제공하며, 특히 이산 최적화에서 흔히 발생하는 보상 분포의 급격한 변동을 완화한다. 논문은 이 스케일‑불변 보상 함수가 순위 기반 샘플링과 결합될 때 이론적으로 편향이 없으며, 수렴 속도가 향상된다는 증명을 제시한다.

또한, 무작위 순서 샘플링을 ‘구조적 입력 드롭아웃’이라고 해석하고, 이는 기존의 드롭아웃과 달리 정보 손실을 최소화하면서 모델이 핵심 의존 관계에 집중하도록 만든다. 실험에서는 이 기법이 파라미터 과적합을 억제하고, 탐색 다양성을 유지하는 데 크게 기여함을 확인한다.

전체적으로 이 논문은 (1) 순서 무관 자기회귀 모델을 통한 고차원 이산 분포 추정, (2) GRPO 기반 스케일‑불변 정책 업데이트, (3) 순서 드롭아웃을 이용한 정규화라는 세 가지 핵심 기여를 통해 기존 EDA·BO·EA 방법들의 한계를 뛰어넘는 새로운 블랙박스 조합 최적화 프레임워크를 제시한다.