LLM과 그래프 신경망을 결합한 조합 최적화 솔버

본 연구는 조합 최적화 문제(COP)를 해결하기 위해 대규모 언어 모델(LLM)과 그래프 신경망(GNN)의 장점을 결합한 AlignOPT 프레임워크를 제안한다. 기존 LLM 기반 접근법은 자연어로 문제를 기술함으로써 의미적 이해는 뛰어나지만, 그래프와 같은 복잡한 관계 구조를 명시적으로 모델링하지 못해 중대형 인스턴스에서 성능이 급격히 저하된다. 반면 전통적인 그래프 신경망은 구조적 정보를 효과적으로 캡처하지만, 문제 정의와 제약조건을 자연어 수준에서 이해하는 능력이 부족하다. AlignOPT는 이러한 상보적 특성을 통합한다. 먼저, 각 COP 인스턴스를 텍스트‑속성 인스턴스(TAI) 형태로 표현한다. 작업 설명(κ)과 인스턴스 설명(v)을 각각 LLM에 입력해 노드 수준 의미 임베딩 xᵢ와 작업 임베딩 k를 얻는다. 여기서 xᵢ와 k를 concat하여 텍스트‑속성 노드 표현을 만든다. 동시에, 그래프 기반 인코더는 GOAL 구조를 차용해 혼합 어텐션 블록을 사용한다. 노드와 엣지 각각을 별도 쿼리·키·밸류로 변환하고, 이들을 합산해 어텐션 스코어를 계산함으로써 노드‑엣지 상호작용을 명시적으로 반영한다. 사전 학습 단계에서는 두 가지 멀티태스크 손실을 도입한다. 텍스트‑그래프 대비 손실(TGC)은 LLM이 만든 의미 임베딩과 그래프 인코더가 만든 구조 임베딩 사이의 코사인 유사도를 최대화해 두 모달리티를 동일한 잠재 공간에 정렬한다. 텍스트‑그래프 매칭 손실(TGM)은 동일 인스턴스 내에서 각 노드의 의미와 구조가 일치하도록 정밀 매칭을 수행한다. 이 과정에서 LLM은 고정된 파라미터로 유지되며, 그래프 인코더가 LLM의 최적화 지식을 흡수한다. 사전 학습이 끝난 후에는 LLM을 완전히 배제하고, 정렬된 그래프 인코더와 강화학습 기반 디코더만을 사용해 정책을 파인튜닝한다. REINFORCE 알고리즘을 적용해 생성된 솔루션의 비용(c(π))과 베이스라인(b(G)) 차이를 이용해 그래디언트를 추정한다. 마스크된 어텐션을 통해 문제‑특정 제약조건과 그래프 토폴로지를 동시에 만족하도록 설계했으며, 이를 통해 생성된 해가 항상 유효성을 유지한다. 실험에서는 합성 데이터와 실제 벤치마크(TSP, CVRP, KP 등)에서 기존 최첨단 모델(Transformer‑기반 NCO, LNCS, GOAL 등)을 능가하는 성능을 보였다. 특히 100~1000 노드 규모의 대형 인스턴스에서도 높은 최적성 비율과 빠른 추론 속도를 유지했으며, 사전 학습에 사용되지 않은 새로운 문제 유형에도 강력한 일반화 능력을 입증했다. 최종적으로 AlignOPT는 의미와 구조를 동시에 활용함으로써, LLM 기반 접근법의 확장성 한계와 그래프 신경망의 의미 이해 부족을 모두 극복한 통합 솔루션으로 평가된다.