LLM 기반 자동 휴리스틱 설계의 새로운 지평, G‑LNS: 대규모 이웃 탐색 연산자 자동 생성

초록

G‑LNS는 대규모 이웃 탐색(LNS) 연산자를 파괴·복구 쌍으로 공동 진화시키는 진화적 프레임워크이다. LLM을 변이·교차 연산자로 활용해 파괴와 복구 로직을 동시에 설계하고, 시너지 매트릭스를 이용해 상호 보완성을 평가·촉진한다. TSP·CVRP 등 복잡한 조합 최적화 문제에서 기존 LLM 기반 자동 휴리스틱 설계와 전통적 메타휴리스틱을 크게 앞서며, 연산자 구조 자체의 일반화 능력도 입증한다.

상세 분석

본 논문은 자동 휴리스틱 설계(AHD) 분야에서 “구조적 병목”이라 불리는 한계점을 정확히 짚어낸다. 기존 AHD는 주로 구축형(priority‑rule) 혹은 파라미터 튜닝 형태의 로컬 서치를 대상으로 하여, 탐색 공간이 고정된 템플릿 안에 머무른다. 이는 초기 결정이 이후 단계에서 되돌리기 어려운 ‘비가역성’과, 이웃 연산자를 고정된 형태로만 조정하는 ‘구조적 경직성’이라는 두 가지 문제를 야기한다. 이러한 제약은 특히 깊은 지역 최적점에 빠지기 쉬운 TSP, CVRP와 같은 NP‑hard 문제에서 치명적이다.

G‑LNS는 이러한 한계를 극복하기 위해 LNS라는 메타휴리스틱을 설계 대상에 포함한다. LNS는 파괴(destroy)와 복구(repair) 연산자를 교대로 적용해 해의 구조를 대규모로 재구성한다. 핵심은 두 연산자의 상호 보완성이다. 파괴 연산자는 해의 특정 부분을 의도적으로 손상시켜 탐색 다양성을 제공하고, 복구 연산자는 그 손상을 효율적으로 복구함으로써 새로운 고품질 해를 만든다. 따라서 파괴와 복구가 서로 ‘맞물려’야만 효과적인 탐색이 가능하다.

G‑LNS는 이를 구현하기 위해 이중 인구(dual‑population) 구조를 도입한다. 파괴 연산자 집합 P_d와 복구 연산자 집합 P_r을 각각 N개의 개체로 유지하고, 초기에는 도메인 전문가가 만든 전통적 연산자(예: Random Removal, Worst Removal, Greedy Insertion)를 시드로 사용한다. 이후 LLM을 변이·생성 연산자로 활용해 i₁, i₂ 프롬프트를 통해 새로운 파이썬 코드 형태의 연산자를 자동 생성한다.

평가 단계에서는 멀티‑에피소드 평가를 수행한다. 각 에피소드는 무작위 초기 해에서 시작해 T번의 LNS 반복을 진행하고, 파괴·복구 쌍을 로테이션 방식(roulette‑wheel)으로 선택한다. 선택된 연산자 쌍이 만든 이웃 해에 대해 전역 최적, 현재 최적, SA 수용 여부에 따라 네 가지 보상 σ₁~σ₄를 부여한다. 이 보상은 (1) 적응 가중치(Adaptive Weights) 업데이트, (2) 전역 적합도(Global Fitness) 누적, (3) 시너지 매트릭스(S) 기록에 각각 반영된다. 시너지 매트릭스는 d_i와 r_j의 조합이 얼마나 효과적인지를 수치화해, 이후 시너지‑인식 합성 교차(Synergistic Joint Crossover) 단계에서 고시너지 쌍을 우선적으로 교배하도록 한다.

인구 관리 단계에서는 K 에피소드 후 누적 적합도가 낮은 하위 M개의 연산자를 각 인구에서 제거하고, LLM을 이용한 **돌연변이(Mutation)**와 동질 교배(Homo‑Crossover), **구조적 결합(Structural Coupling)**을 통해 새로운 후보를 채워 넣는다. 이 과정은 탐색 다양성을 유지하면서도 고성능 연산자를 지속적으로 강화한다는 점에서 기존 단일 인구 진화보다 효율적이다.

실험 결과는 두 가지 주요 측면에서 눈에 띈다. 첫째, TSP(100500 노드)와 CVRP(50200 고객) 벤치마크에서 G‑LNS가 기존 FunSearch·EoH 기반 AHD와 최신 메타휴리스틱(ALNS, LKH 등)을 모두 앞선 평균 최적도와 실행 시간(연산 예산 10% 감소)을 기록했다. 둘째, 훈련에 사용되지 않은 인스턴스 분포(예: 다른 도시 지도, 다른 차량 용량)에서도 설계된 연산자는 높은 일반화 성능을 보였으며, 이는 연산자 로직 자체가 문제 구조를 포괄적으로 캡처했음을 의미한다.

이 논문은 LLM을 단순 코드 생성기가 아니라 알고리즘 구조 탐색 엔진으로 활용한 첫 사례라 할 수 있다. 파괴·복구 연산자를 공동 진화시키는 설계 패러다임은 기존 AHD가 놓치던 ‘구조적 혁신’을 가능하게 하며, 향후 다른 메타휴리스틱(예: Variable Neighborhood Search, Large‑Scale Neighborhood Search)에도 확장 가능성을 시사한다. 또한 시너지 매트릭스를 통한 협력 평가 메커니즘은 다중 모듈 시스템을 자동 설계하는 일반적인 프레임워크로도 적용될 수 있다.