열지도 기반 최적화의 비용 인식 강화: CADO와 목표 정렬 학습

초록

**
열지도(heatmap) 생성기로서의 확산 모델은 기존에 감독학습(SL)으로 학습돼 구조적 모방만을 목표로 했지만, 이는 디코더와 비용을 무시하는 ‘Decoder‑Blindness’·‘Cost‑Blindness’라는 근본적 한계를 만든다. CADO는 이 두 문제를 해결하기 위해 사전 학습된 확산 모델을 강화학습(RL)으로 미세조정하고, 라벨을 기준 보상으로 활용하는 ‘Label‑Centered Reward’와 파라미터 효율적인 ‘Hybrid Fine‑Tuning’을 도입한다. 실험 결과, 다양한 조합 최적화 벤치마크에서 기존 최첨단을 크게 앞선 성능을 기록한다.

**

상세 분석

**
본 논문은 열지도 기반 솔버가 갖는 근본적인 목표 불일치를 체계적으로 분석한다. 기존의 감독학습(SL) 방식은 최적 해를 라벨로 삼아 교차 엔트로피 등 손실을 최소화하지만, 두 가지 핵심 결함을 내포한다. 첫째, Decoder‑Blindness는 비미분 가능한 디코더 f (g) 가 학습 과정에 전혀 반영되지 않아, 모델이 생성한 연속적인 열지도가 실제 이산 해로 변환될 때 발생하는 구조적 손실을 무시한다. 둘째, Cost‑Blindness는 비용 함수 c (g) 와의 직접적인 연관성을 고려하지 않음으로써, 구조적 유사성(예: 해밍 거리)과 최종 비용 사이의 상관관계가 약함을 보여준다. 실험(그림 1)에서는 SL 손실과 해밍 거리 사이에 어느 정도 양의 상관관계가 있더라도, 해밍 거리와 비용 사이의 상관관계는 거의 없음을 확인한다. 이는 “구조적 모방 = 비용 최소화”라는 가정이 실제 CO 문제에서는 성립하지 않음을 의미한다.

이러한 문제를 해결하기 위해 CADO는 강화학습 기반 미세조정을 제안한다. 핵심 아이디어는 확산 모델의 역방향(denoising) 과정을 마코프 결정 과정(MDP)으로 모델링하고, 최종 디코딩 단계에서 얻은 비용을 바로 보상으로 사용한다. 보상 설계는 두 가지 형태가 있다. **Standard Reward (SR)**는 단순히 ‑c (g) 를 사용하고, **Label‑Centered Reward (LCR)**는 사전 학습 라벨의 비용 b_D(g) 를 기준선으로 삼아 −(c (g)−b_D(g)) 를 보상한다. LCR은 라벨을 “모방 목표”가 아니라 “편향 없는 기준”으로 전환함으로써, 라벨이 최적이 아니더라도 정책 그라디언트가 올바른 방향으로 흐르게 만든다.

학습 효율성을 위해 Hybrid Fine‑Tuning을 도입한다. LoRA(저랭크 적응)를 입력 레이어와 대부분의 GNN 레이어에 적용해 파라미터 수를 크게 줄이고, 최종 GNN 레이어와 출력 레이어는 전체 파라미터를 업데이트하는 Selective‑FT를 적용한다. 이 혼합 전략은 사전 학습된 표현을 보존하면서도 디코더와 비용에 민감한 파라미터만 충분히 조정하도록 설계돼, RL 특유의 불안정성을 크게 완화한다.

실험에서는 TSP와 MIS 등 대표적인 NP‑hard 문제에서 기존 확산 기반 솔버(DIFUSCO 등)와 RL 기반 베이스라인을 모두 능가한다. 특히 LCR을 사용한 경우, 라벨이 최적이 아닌 경우에도 비용 격차를 크게 줄이며, SR 대비 학습 수렴 속도가 빠른 것이 관찰된다. 또한, 파라미터 효율성을 검증하기 위해 LoRA 비율을 변화시킨 실험에서도 성능 저하 없이 메모리 사용량을 크게 감소시켰다.

결과적으로 CADO는 **목표 정렬(objective alignment)**을 통해 열지도 기반 솔버가 가진 구조적·비용적 블라인니스를 해소하고, 사전 학습된 강력한 표현력을 유지하면서도 실제 비용 최소화라는 최종 목표에 직접 최적화한다는 점에서 중요한 전진을 이룬다.

**