LLM 시대의 조합 기하 최적화, 일반 NLP 솔버가 선도한다

초록

본 논문은 AlphaEvolve이 LLM으로 발견한 기하·조합 최적화 해법과 비교해, 최신 상용·오픈소스 전역 비선형 최적화 솔버인 FICO Xpress와 SCIP가 직접 NLP 모델링만으로도 동일하거나 더 우수한 결과를 얻을 수 있음을 실증한다. 원문은 최소-최대 거리비, 가변 반지름 원 패킹, 정육각형 패킹 세 문제를 다루며, 모델링 전략과 실험 결과를 상세히 제시한다.

상세 분석

논문은 크게 두 가지 질문에 답한다. 첫째, LLM 기반 자동 알고리즘 탐색이 만든 복잡한 기하·조합 문제를 전통적인 비선형 전역 최적화(NLP) 프레임워크에 그대로 옮겨도 충분히 좋은 해를 얻을 수 있는가? 둘째, 최신 상용 솔버(FICO Xpress)와 오픈소스 솔버(SCIP)가 별도의 튜닝 없이도 최신 LLM 결과를 재현·향상시킬 수 있는가? 이를 검증하기 위해 저자들은 AlphaEvolve 벤치마크에 포함된 세 가지 대표 문제를 선택했다.

1. 최소‑최대 거리비 문제는 n개의 점을 d차원 공간에 배치해 최소 거리와 최대 거리의 비를 최소화한다. 저자는 두 가지 등가 모델을 제시한다. (i) 최소 거리를 1로 고정하고 최대 거리 t_max 를 최소화하는 ‘원 패킹’ 형태, (ii) 최대 거리를 1로 고정하고 최소 거리 t_min 을 최대화하는 ‘역원 패킹’ 형태. 두 모델 모두 제곱 거리 형태의 이차 제약식으로 구성돼 QCP(Quadratically Constrained Problem) 형태가 된다. 변수 수는 n·d, 제약식 수는 O(n²)이며, 이는 현대 전역 최적화 엔진이 효율적으로 다룰 수 있는 규모다. 실험에서는 2D·3D에서 n≤30까지의 인스턴스를 풀었고, 기존 문헌(특히 AlphaEvolve)에서 보고된 최적값을 그대로 재현하거나 소수점 5자리까지 개선했다.

2. 가변 반지름 원 패킹은 주변 사각형(또는 둘레 4인 직사각형) 안에 n개의 원을 배치해 반지름 합을 최대화한다. 여기서는 원의 중심 좌표(x_i, y_i), 반지름 r_i, 그리고 직사각형의 짧은 변 α 를 변수로 두었다. 제약식은 (i) 원이 경계 안에 머무르는 선형 제약, (ii) 원 간 겹침을 방지하는 이차 제약, (iii) 반지름 상한 및 α 범위 제한이다. 목표 함수는 반지름 합의 선형식이므로 전역 최적화가 특히 강점이다. 저자는 α=1(정사각형)과 α 자유(직사각형) 두 경우를 모두 풀었으며, 32개의 원을 정사각형에 배치한 경우 기존 최고값 2.937을 2.93794로, 직사각형 변형에서도 소폭 개선된 값을 얻었다.

3. 정육각형 패킹은 단위 정육각형 n개를 회전·이동 자유가 있는 정규 정육각형 안에 넣어 외부 정육각형의 최소 변 길이 R을 찾는 문제다. 이 문제는 회전 각도 θ_i 를 추가 변수로 두어 비선형 삼각함수 제약이 등장한다. 저자는 이를 factorable 형태로 변환해 SCIP와 Xpress가 다룰 수 있게 했으며, 초기 실험에서 기존 LLM 기반 해보다 경쟁력 있는 상한을 확보했다(정확한 수치는 논문 부록에 제시).

전반적인 모델링 전략은 **‘가능하면 제곱 거리·제곱 비율을 사용해 비선형성을 최소화하고, 목표 함수를 선형 혹은 단순 비선형 형태로 변환’**하는 것이다. 이렇게 하면 전역 솔버의 자동 선형화·볼록화 모듈이 효과적으로 작동한다. 또한, 저자들은 대칭 깨기(symmetry breaking)와 변수 스케일링을 최소화해 프리솔버 단계에서의 프리프라싱 효과를 극대화했다.

실험 결과는 두 솔버 모두 ‘out‑of‑the‑box’ 설정으로도 충분히 강력함을 보여준다. Xpress는 상업용 고성능 프리솔버와 강력한 휴리스틱을 활용해 대부분의 인스턴스를 수 분 내에 최적 혹은 근접 최적 해를 찾았고, SCIP는 오픈소스임에도 불구하고 비슷한 시간 안에 동일한 해를 재현했다. 특히, 큰 규모(30점·3차원) 문제에서는 Xpress가 약간 빠른 경향을 보였지만, SCIP도 충분히 경쟁력 있었다.

마지막으로 저자들은 LLM 기반 탐색과 전통적 전역 최적화의 상호 보완성을 강조한다. LLM은 새로운 알고리즘 구조나 휴리스틱을 제시하는 데 강점이 있지만, 최종 해 검증·정밀 개선 단계에서는 성숙한 NLP 솔버가 결정적인 역할을 할 수 있다. 향후 연구는 LLM이 생성한 모델을 자동으로 전역 최적화 포맷으로 변환하고, 솔버와의 피드백 루프를 구축해 하이브리드 워크플로우를 구현하는 방향으로 나아갈 것으로 기대된다.