제약 최적화를 위한 풀어헤친 그래프 신경망

초록

본 논문은 이중 상승(Dual Ascent) 알고리즘의 동역학을 두 개의 그래프 신경망(GNN)으로 풀어헤쳐, 원시와 이중 네트워크가 층 수준에서 상호작용하도록 설계한다. 원시 GNN은 주어진 이중 승수에 대해 라그랑지안의 정지점을 찾고, 이중 GNN은 그 결과를 이용해 승수를 점진적으로 상승시켜 최적 해에 도달한다. 학습 과정에서 각 층의 하강·상승 제약을 강제함으로써 실제 DA 흐름을 모방하고, 중첩 최적화 형태의 교대 학습 스킴을 제안한다. 혼합 정수 이차계획(MIQP) 실험에서 제약을 부과한 모델이 무제약 대비 최적성·타당성 모두에서 우수한 OOD 일반화 능력을 보였다.

상세 분석

이 논문은 기존의 ‘알고리즘 풀어헤치기(Unrolling)’ 연구가 주로 무제약 최적화에 국한돼 있던 한계를 극복하고, 제약 최적화 문제에 직접 적용할 수 있는 새로운 프레임워크를 제시한다. 핵심 아이디어는 이중 상승(Dual Ascent, DA) 알고리즘의 두 단계—프라임(Primal) 최소화와 듀얼(Dual) 상승—를 각각 그래프 신경망(GNN)으로 모델링하고, 이 두 네트워크가 층 단위로 교차 호출하도록 설계하는 것이다.

1. 프라임 GNN 설계

   • 입력은 현재 변수 추정치와 이중 승수 λ, 그리고 문제 인스턴스 z이다.
   • 각 층은 T개의 그래프 서브‑레이어(필터 + 비선형)와 읽어내기(readout)로 구성되며, 잔차 연결을 통해 전통적인 그래디언트 업데이트와 유사한 동작을 만든다.
   • 최종 출력은 λ에 대한 라그랑지안 최소점 x*(λ)를 근사한다.

2. 듀얼 GNN 설계

   • 듀얼 네트워크는 L개의 층으로 이루어지며, 각 층은 현재 승수 λ_{l‑1}와 프라임 네트워크가 제공한 x_{l‑1}=Φ_P(λ_{l‑1},z) 를 입력으로 받아 새로운 승수 λ_l을 생성한다.
   • ReLU 비선형을 사용해 비음수 승수 제약을 자연스럽게 만족시킨다.

3. 하강·상승 제약 부여

   • 풀어헤친 네트워크는 일반적으로 중간 단계에서 목표 함수가 단조 감소/증가하지 않아 불안정성을 보인다. 이를 보완하기 위해 논문은 두 종류의 제약을 도입한다.
     • 프라임 하강 제약: 각 층에서 라그랑지안에 대한 x‑그라디언트 노름이 평균적으로 감소하도록 α_k 파라미터를 이용해 강제한다.
     • 듀얼 상승 제약: 각 층에서 제약 함수 f(x;z) 의 노름이 β_l 파라미터에 의해 감소하도록 설계한다.
   • 이러한 제약은 비선형 제약 최적화 문제로 변환되며, 메타 듀얼 변수(µ, ν)를 도입한 라그랑지안 이중화 방식으로 해결한다.

4. 중첩 최적화와 교대 학습

   • 프라임 네트워크는 문제 인스턴스와 승수의 공동 분포 위에서 학습되어야 하는데, 승수 분포는 듀얼 네트워크가 생성한다는 순환 의존성이 존재한다.
   • 논문은 외부(듀얼)와 내부(프라임) 최적화를 각각 별도의 목적함수로 정의하고, 두 네트워크를 번갈아가며 일정 에포크씩 학습하는 교대 스킴을 제안한다.
   • 이 과정은 실제 DA 알고리즘을 한 번 실행해 승수 궤적을 얻은 뒤, 그 궤적을 프라임 네트워크의 학습 데이터로 활용하는 형태로 구현된다.

5. 실험 설계 및 결과

   • 실험은 혼합 정수 이차계획(MIQP) 문제를 선형 제약과 이진 변수(±1)로 구성하고, 이진 제약을 박스 제약(−1≤x≤1)으로 완화한 뒤 그래프 구조 S=