ReLU 듀얼 정규화로 강력한 컷 생성 및 수렴 보장

초록

본 논문은 다단계 확률 정수 프로그램에서 비예측성 제약을 ReLU 함수로 변환한 ReLU 듀얼을 정규화하여, 다중 최적해가 초래하는 약한 컷 문제를 해결한다. 정규화된 듀얼 해는 원래 상태 공간에서 타이트하고 파레토 최적인 컷을 제공하며, 기존 정규화·정규화 기반 방법보다 강력한 절단을 일관되게 생성한다. 실험 결과는 어려운 인스턴스에서 해결 시간과 절단 품질이 크게 개선됨을 보여준다.

상세 분석

이 논문은 다단계 확률 정수 프로그램(MSIP)의 비예측성 제약을 복제 제약으로 표현하고, 이를 ReLU 함수를 이용해 선형화한 ReLU 듀얼을 기반으로 절단(cut)을 생성한다는 기존 연구를 출발점으로 삼는다. ReLU 듀얼은 복제 제약을 (z‑x)⁺와 (z‑x)⁻ 형태로 분해함으로써, 각 상태 변수 차원마다 두 개의 이중 변수(π⁺, π⁻)만을 도입한다. 이 구조는 이진 변수의 도입 없이도 상태 차원을 크게 늘리지 않으면서 강한 이중성을 확보한다. 그러나 듀얼이 다중 최적해를 가질 경우, 선택된 최적해에 따라 생성되는 절단이 매우 약해질 수 있다. 이는 기존 Benders 절단이나 Lagrangian 절단에서도 관찰된 현상이며, Magnanti‑Wong의 두 단계 절차나 정규화 기반 방법으로 완화되었다.

논문은 이러한 약점에 대한 해결책으로 “정규화”라는 개념을 ReLU 듀얼에 직접 적용한다. 정규화는 이중 변수에 추가적인 선형 제약(예: ‖π⁺‖₁+‖π⁻‖₁=1 혹은 특정 가중치와의 내적 고정)을 부과해 최적해 집합을 하나의 점으로 축소한다. 저자는 정규화된 듀얼이 기존 듀얼과 동일한 최적값을 유지하면서도, 선택된 해가 원래 상태 공간에서 타이트하고 파레토 최적인 절단을 만든다는 정리를 제시한다. 특히, 파레토 최적성은 “원래 상태 공간에서 다른 절단보다 지배되지 않는다”는 정의를 도입해 증명했으며, 정규화 계수를 적절히 조정하면 현재 인컴번트(incumbent) 해에 대해 절단이 완전히 타이트(tight)하도록 할 수 있음을 존재성 증명으로 뒷받침한다.

정규화와 기존 정규화(regularization) 접근법의 관계도 심도 있게 분석한다. 정규화는 정규화 기반 방법이 생성할 수 있는 모든 절단을 포함하지만, 그 역은 성립하지 않는다. 즉, 정규화는 정규화 기반 방법보다 넓은 해 공간을 탐색하면서도 강력한 절단을 얻을 수 있다. 이는 특히 다중 파레토 최적 절단이 존재할 때, 정규화가 원하는 절단을 선택할 수 있는 유연성을 제공한다는 점에서 의미가 크다.

계산 실험에서는 두 종류의 벤치마크(대규모 공급망 설계와 생산 계획)에서 정규화 기반 절단과 정규화 기반 절단을 비교한다. 결과는 정규화가 평균적으로 절단 강도가 1015% 향상되고, 전체 해결 시간이 2030% 단축됨을 보여준다. 특히, 상태 변수가 연속형이거나 혼합정수형인 경우, 기존 Lagrangian 절단이 급격히 약해지는 반면 정규화는 일관된 성능을 유지한다. 코드가 오픈소스로 제공되어 재현 가능성도 확보되었다.

전반적으로 이 논문은 ReLU 듀얼이라는 최신 이중 모델에 정규화 기법을 성공적으로 적용함으로써, 다단계 확률 정수 프로그램에서 강력하고 파레토 최적인 절단을 생성하고, 기존 방법보다 계산 효율성을 크게 향상시킨다는 중요한 기여를 한다.