제약 기반 모델 축소: 멀티모달 표현으로 MILP 해결 가속화

초록

본 논문은 MILP(혼합정수선형계획) 문제의 해결 속도를 높이기 위해 기존 변수 축소 방식이 아닌 제약 축소를 제안한다. 최적해에서 ‘타이트’한 부등식 제약을 선별하고, 이를 등식으로 고정함으로써 탐색 공간을 크게 줄인다. 핵심은 (1) 중요한 타이트 제약을 정보이론 기반 휴리스틱으로 선택하고, (2) 인스턴스‑레벨 그래프와 추상‑레벨 텍스트 정보를 결합한 멀티모달 GNN으로 해당 제약을 예측한다는 점이다. 실험 결과, 기존 최첨단 방법 대비 솔루션 품질을 50 % 이상 향상시키고, 계산 시간을 평균 17.47 % 단축하였다.

상세 분석

이 연구는 MILP 해결에 있어 변수 축소가 주류를 이루던 기존 흐름을 근본적으로 전환한다. 이론적으로 변수와 제약은 쌍대 관계에 놓여 있어, 제약을 고정하면 변수 공간도 동시에 축소될 수 있다. 논문은 먼저 ‘타이트 제약’이라는 개념을 도입한다. 최적해 x*에서 a_i^T x = b_i 로 성립하는 부등식은 해 공간을 정의하는 핵심 제약이며, 이를 등식으로 바꾸면 LP relaxations이 더 강해지고, Branch‑and‑Bound 트리의 깊이가 얕아진다. 그러나 모든 타이트 제약을 고정하면 과도한 제약 강제로 인한 infeasibility 위험이 존재한다. 따라서 저자는 정보이론 기반 휴리스틱을 설계해 ‘정보 이득(information gain)’이 큰 제약만을 선택한다. 이 과정은 각 제약이 감소시키는 불확실성(엔트로피)와 변수 공간 축소량을 정량화하여, 가장 큰 기여를 하는 소수의 제약을 ‘Critical Tight Constraints(CTC)’로 라벨링한다.

CTC 예측을 위한 핵심 기술은 멀티모달 표현이다. 기존 GNN 기반 MILP 인코딩은 인스턴스‑레벨 이분 그래프(제약·변수 노드와 계수 가중치)만을 활용했으며, 제약의 카테고리(예: 용량, 흐름, 논리)와 같은 고수준 구조 정보를 무시했다. 저자는 이를 보완하기 위해 두 가지 모달리티를 병렬로 학습한다. ① 인스턴스‑레벨 그래프는 Gasse et al. (2019) 방식의 가중 이분 그래프로, 변수‑제약 연결과 계수를 직접 전달한다. ② 추상‑레벨 그래프는 동일 문제군의 제약·변수 타입을 노드로 하는 무가중 이분 그래프이며, 각 타입에 대한 텍스트 설명을 사전학습된 언어 모델(PLM)로 임베딩한다.

두 그래프는 ‘Intra‑Layer Message Passing’으로 각각 내부 정보를 전파한 뒤, ‘Inter‑Layer Message Passing’ 단계에서 Cross‑Attention 메커니즘을 통해 상호 보완적인 피처를 교환한다. 구체적으로, 추상‑레벨 카테고리 노드의 표현 ˆh^k_Vj와 해당 카테고리에 속한 인스턴스‑레벨 변수 노드들의 집합 {h^k_vi}를 MLP로 변환 후 CrossAttention을 적용해 ˜h^k_Vj를 만든다. 이후 ˜h와 기존 ˆh를 concat하고 MLP를 통과시켜 업데이트된 카테고리 피처를 얻는다. 이 과정을 여러 레이어에 걸쳐 반복함으로써, 제약의 구조적 유사성(동일 카테고리 내)과 개별 계수·연결 정보가 동시에 반영된 풍부한 임베딩을 생성한다.

학습 목표는 CTC를 이진 라벨(1:critical, 0:non‑critical)로 예측하는 이진 분류이며, 손실 함수는 클래스 불균형을 고려한 가중 BCE와 정보이득 기반 정규화를 결합한다. 예측된 CTC 집합을 실제 MILP에 적용할 때는 해당 부등식을 등식으로 교체하고, 동시에 기존 변수 축소 기법(예: 변수값 예측)과 연계해 하이브리드 모델 축소를 수행한다.

실험은 크게 두 가지 벤치마크(구로비와 SCIP 기반 대규모 MILP)와 네 개의 도메인(스케줄링, 공급망, 에너지 관리, 칩 설계)에서 진행되었다. 평가 지표는 (1) 프라임 갭(primal gap) 감소율, (2) 전체 해결 시간, (3) 제약 고정 비율이다. 결과는 CTC 기반 축소가 변수 축소만 적용했을 때 대비 프라임 갭을 평균 52 % 개선하고, 시간은 17.47 % 단축함을 보여준다. 특히 5 % 수준의 고품질 제약만 선택해도 큰 성능 향상이 관찰되었으며, 이는 ‘핵심 제약’이 전체 문제 구조를 지배한다는 가설을 실증한다.

한계점으로는 (i) 라벨링을 위해 최적해가 필요하므로 사전 솔버 호출 비용이 존재하고, (ii) 현재는 이진 변수와 선형 제약에 초점을 맞추었으며, 비선형·정수 인코딩 확장은 미진이다. 향후 연구는 라벨링 비용을 감소시키는 자기지도 학습, 그리고 비선형 제약을 포함한 일반 MILP에 대한 확장을 제안한다.

전반적으로 이 논문은 제약 축소라는 새로운 차원을 도입하고, 멀티모달 그래프 신경망을 통해 고수준 구조와 저수준 수치를 효과적으로 결합함으로써, 대규모 MILP 해결에 실질적인 속도·품질 향상을 제공한다.