비선형 MINLP에서 분기 규칙 선택을 위한 머신러닝 접근

초록

본 논문은 비선형 혼합정수비선형계획(MINLP) 문제를 해결하는 전역 최적화 솔버 Xpress에서, 정수 변수의 분수값을 우선적으로 처리할지 혹은 제약 위반을 보이는 연속 변수에 대해 공간 분기를 먼저 수행할지를 데이터 기반으로 결정하는 방법을 제시한다. 683개의 다양한 인스턴스를 대상으로 강한 분기(strong branching)와 문제 구조 정보를 이용한 17개의 특징을 추출하고, 선형 회귀와 랜덤 포레스트 회귀 모델을 학습한다. 4개의 핵심 특징만을 사용한 선형 회귀 모델은 전체 인스턴스에 대해 평균 8~9%의 실행시간 감소를, 어려운 인스턴스에 대해서는 10% 이상 개선을 달성한다. 또한 모델은 Solver 버전이 바뀌어도 재학습 없이 효과를 유지한다는 점을 실험적으로 확인하였다.

상세 분석

이 연구는 MINLP 해결 과정에서 가장 결정적인 단계인 분기 변수 선택에 머신러닝을 적용한 최초 사례 중 하나로 평가할 수 있다. 기존 솔버들은 정수 변수의 분수값을 우선적으로 분기하는 ‘PreferInt’ 전략과, 정수와 연속 변수 모두를 동시에 고려하는 ‘Mixed’ 전략을 각각 기본값으로 채택하고 있었으며, 어느 전략이 더 효율적인지는 문제마다 크게 달라졌다. 저자들은 이러한 불확실성을 해소하기 위해, 루트 노드에서 강한 분기(strong branching)를 수행하면서 얻은 평균 경계 변화량, 작업량, 고정 변수 수 등 17개의 정량적 특징을 정의하였다. 특히 비선형 구조를 DAG(Directed Acyclic Graph) 형태로 표현한 뒤, 비선형 연산 노드 비율, 변수‑노드 연결 비율 등 문제의 비선형성을 정량화하는 특징을 포함시킨 점이 주목할 만하다.

학습 목표는 ‘PreferInt’와 ‘Mixed’ 전략 간의 상대적 속도 향상 비율을 직접 예측하는 회귀 문제로 설정하였다. 이는 단순히 어느 전략이 더 빠른지를 분류하는 것이 아니라, 성능 차이가 큰 경우에 더 정확히 예측하도록 모델을 유도한다는 점에서 설계 의도가 명확하다. 선형 회귀와 랜덤 포레스트 두 가지 모델을 각각 100번의 랜덤 시드로 학습·평가했으며, 성능 평가는 전체 정확도와 대폭 향상(속도 향상 계수 >4) 인스턴스에 대한 정확도, 그리고 시프트된 기하 평균 실행시간(sgm_runtime)으로 이루어졌다.

특징 중요도 분석 결과, 공간 분기에 대한 강한 분기의 평균 경계 변화량(AvgRelBndChngSBLPSpat)이 가장 높은 기여도를 보였으며, 이는 비선형 제약 위반 정도가 분기 전략 선택에 핵심적인 영향을 미친다는 것을 시사한다. 또한 정수 변수 비율(%IntVars)과 비선형 제약 비율(%NonlinCons)도 상위에 위치해, 문제의 구조적 특성이 전략 선택에 중요한 역할을 함을 확인하였다.

특징 축소 실험에서는 17개 전체 특징을 차례로 제거하면서 모델을 재학습했을 때, 최소 4개의 핵심 특징만 남겨도 정확도와 sgm_runtime이 크게 감소하지 않았다. 이는 모델이 과다한 특징에 의존하지 않고, 핵심적인 구조적·분기 정보를 기반으로 일반화 능력을 유지함을 의미한다. 특히 선형 회귀 모델은 4개 특징만으로도 테스트 셋에서 84% 전체 정확도와 90% 이상 큰 차이 인스턴스 정확도를 달성했으며, 랜덤 포레스트 역시 비슷한 수준을 유지했다.

버전 호환성 실험에서는 Xpress 9.6에서 학습된 모델을 9.8 버전에서 그대로 적용했을 때도 유의미한 실행시간 감소를 보였다. 이는 모델이 Solver 내부 구현 변화에 크게 민감하지 않으며, 실제 상용 솔버에 적용 가능한 실용성을 갖춘다는 중요한 결론을 뒷받침한다.

전체적으로 이 논문은 MINLP 분야에서 알고리즘 선택 문제를 데이터 기반으로 해결하는 프레임워크를 제시함으로써, 전통적인 휴리스틱 기반 전략을 넘어선 성능 향상을 입증하였다. 특히 강한 분기 정보를 활용한 특징 설계와, 최소 특징 집합으로도 충분히 높은 예측 정확도를 달성한 점은 향후 다른 최적화 알고리즘에도 적용 가능한 일반적인 설계 원칙을 제공한다.