협업 솔버: 혼합정수선형계획 문제를 위한 협동 정책 학습

초록

**
본 논문은 MILP 해결 과정에서 절단 선택과 분기 정책을 동시에 학습하는 다중 에이전트 프레임워크인 Collab‑Solver를 제안한다. 두 모듈을 Stackelberg 게임으로 모델링하고, 데이터‑통신 기반 사전학습 단계와 두‑시간척도 미세조정 단계로 구성된 2단계 학습 방식을 도입한다. 실험 결과, 기존 단일 모듈 학습 방법보다 해결 시간과 최적성 격차가 크게 개선되었으며, 다양한 데이터셋에 대한 일반화 능력도 입증하였다.

**

상세 분석

**
Collab‑Solver는 MILP 솔버 내부의 핵심 모듈인 절단(cut) 선택과 변수 분기(branching)를 각각 절단 에이전트와 분기 에이전트라는 두 학습 에이전트로 정의한다. 두 에이전트는 순차적으로 의사결정을 내리며, 최종 목표는 전체 해결 시간과 프루닝 효율을 최소화하는 것이다. 이를 위해 저자들은 Stackelberg 게임을 채택한다. Stackelberg 게임에서는 리더(절단 에이전트)가 먼저 행동을 선택하고, 팔로워(분기 에이전트)가 그 행동을 관찰한 뒤 최적의 반응을 선택한다. 이 구조는 실제 B&C(Branch‑and‑Cut) 흐름—절단이 먼저 적용된 뒤 분기가 이루어진다—와 자연스럽게 일치한다.

게임 이론적 모델링을 바탕으로 저자들은 양방향 데이터 통신 메커니즘을 설계하였다. 절단 에이전트는 절단 후보군의 특성뿐 아니라 현재 MILP 인스턴스의 그래프 기반 특성도 입력받아 절단을 선택하고, 선택된 절단 집합은 분기 에이전트에게 전달된다. 반대로, 분기 에이전트는 선택된 변수와 해당 변수에 대한 LP 해의 정보를 절단 에이전트에게 피드백한다. 이러한 피드백 루프는 두 정책이 서로의 행동을 실시간으로 반영하도록 하여, 독립적으로 학습된 정책들 사이에서 발생하는 비협조적 현상을 크게 완화한다.

학습 과정은 두 단계로 나뉜다.

1. 데이터‑통신 사전학습(Pretraining) 단계에서는 기존 솔버(예: SCIP)에서 수집한 트래젝터리를 활용해, 각 에이전트가 서로의 입력을 포함한 풍부한 상태‑행동 쌍을 학습한다. 여기서 핵심은 공유 인코더를 도입해 절단 특성과 MILP 그래프 특성을 동일한 임베딩 공간에 매핑함으로써, 서로 다른 모듈 간에 의미 있는 정보를 교환할 수 있게 만든 점이다.
2. 동시 미세조정(Fine‑tuning) 단계에서는 두‑시간척도 업데이트 규칙을 적용한다. 구체적으로, 리더인 절단 정책은 비교적 느린 학습률로 업데이트되어 안정적인 전략을 유지하고, 팔로워인 분기 정책은 빠른 학습률로 리더의 최신 행동에 즉각 적응한다. 이 방식은 비정상적인 비정상성(non‑stationarity)을 억제하고, 공동 최적화 과정에서 발생할 수 있는 진동을 최소화한다.

실험에서는 8개의 NP‑hard 벤치마크(합성 데이터와 실제 산업 데이터 포함)를 대상으로 시간 대비 최적성 격차(primal‑dual gap), 노드 탐색 수, 전체 해결 시간 등을 측정하였다. Collab‑Solver는 기존 학습 기반 브랜칭(예: GNN‑branch)이나 절단 선택(예: HEM)보다 평균 15‑20% 이상의 시간 절감과 10% 수준의 노드 감소를 달성했다. 특히, 아웃‑오브‑디스트리뷰션 테스트에서 다른 인스턴스 유형(예: 다른 변수 수, 제약 밀도)으로도 성능 저하가 미미했으며, 이는 데이터‑통신 인코더가 문제 구조를 잘 일반화한다는 증거이다.

아벨레이션 연구에서는 (i) 데이터 통신 없이 독립 학습, (ii) 두‑시간척도 없이 단일 학습률 적용, (iii) 절단을 루트 노드에만 제한하는 기존 방법과 비교하였다. 모든 경우에서 성능이 현저히 떨어졌으며, 특히 (ii)에서는 학습 초기에 급격한 성능 진동이 관찰돼 두‑시간척도 규칙의 중요성을 확인했다.

한계점으로는 현재 절단‑분기 두 모듈에만 초점을 맞추었으며, 프루닝, 노드 선택, 프루머 등 다른 핵심 모듈과의 확장은 아직 구현되지 않았다. 또한 Stackelberg 게임의 리더‑팔로워 구조가 고정돼 있어, 양방향 상호작용이 더 복잡한 경우(예: 동시 절단·분기)에는 모델링이 부적절할 수 있다. 향후 연구에서는 다중 리더‑다중 팔로워 구조와 메타‑학습을 결합해 다양한 모듈을 동시에 최적화하는 프레임워크로 확장할 여지가 있다.

**