그래프 신경망, 탐색 없이 최적화 휴리스틱으로 변신

초록

본 논문은 단일 학습 궤적만으로 그래프 신경망(GNN)을 비지도식 휴리스틱으로 전환하는 방법을 제시한다. TSP를 대상으로 전역 구조 제약을 인덕티브 바이어스로 삽입하고, 비자율(non‑autoregressive) 모델을 통해 한 번의 순방향 전파만으로 해를 생성한다. 추론 시 드롭아웃과 스냅샷 앙상블을 활용해 암묵적 앙상블 효과를 얻어 최적성 갭을 감소시킨다. 결과적으로 GNN은 감독 학습이나 탐색 없이도 강력한 휴리스틱으로 작동함을 보인다.

상세 분석

이 논문은 그래프 신경망(GNN)이 전통적인 탐색 기반 최적화 기법을 대체할 수 있는 “학습된 휴리스틱”으로서의 가능성을 체계적으로 탐구한다. 핵심 아이디어는 TSP와 같은 조합 최적화 문제의 전역 구조(예: 모든 도시를 한 번씩 방문하는 해밀턴 순환)를 인덕티브 바이어스로 모델에 직접 인코딩함으로써, 모델이 학습 단계에서 이미 전역 제약을 내재화하도록 하는 것이다. 이를 위해 저자들은 다음과 같은 기술적 요소들을 결합한다.

1. 퍼뮤테이션 기반 직접 출력: 도시 순서를 나타내는 퍼뮤테이션 행렬을 연속적인 소프트 퍼뮤테이션 (T) 로 완화하고, Gumbel‑Sinkhorn 연산을 통해 미분 가능한 형태로 만든 뒤, 추론 시 Hungarian 알고리즘으로 하드 퍼뮤테이션 (P) 를 복원한다. 이 과정은 기존의 autoregressive 디코더가 필요 없으며, 한 번의 포워드 패스로 전체 투어를 생성한다.

2. 전역 구조 제약의 수식화: 순환 행렬 (V) 와 퍼뮤테이션 행렬 (P) 를 이용해 (H = PVP^\top) 형태의 해밀턴 사이클을 정의하고, 목표 함수 (\langle D, TVT^\top\rangle) 를 최소화한다. 이렇게 하면 최적화가 직접 퍼뮤테이션 공간 위에서 이루어지며, 전역적인 거리 합산이 손실에 반영된다.

3. 대칭 인식 특징 추출: 입력 좌표를 중심화하고 공분산 행렬의 고유벡터를 이용해 데이터‑종속적인 정규 좌표계를 만든다. 이후 반경·각도와 다중 푸리에 조화를 결합해 회전·이동에 (거의) 불변인 노드 특징을 생성한다. 이는 GNN이 입력 순열에 대해 equivariant하게 동작하도록 보장한다.

4. 드롭아웃 기반 암묵적 앙상블: 학습 단계와 동일하게 추론 시에도 드롭아웃 마스크를 유지함으로써, 동일 모델에 대해 다수의 stochastic forward pass를 수행한다. 각 패스는 서로 다른 내부 표현을 생성하므로, 결과 투어들의 다양성이 증가하고 최적성 갭이 감소한다.

5. 스냅샷 앙상블: 하나의 학습 궤적에서 여러 체크포인트(예: 850, 900, 950, 1000 epoch)를 저장하고, 추론 시 이들을 동시에 활용한다. 추가 학습 비용 없이 모델 파라미터의 서로 다른 지역 최적점을 활용해 성능을 향상시킨다.

6. 스캐터링‑어텐션 GNN: 다중 스케일 확산 연산(정규화 그래프 컨볼루션, 스캐터링 연산)을 채널별로 수행하고, 각 채널에 대해 어텐션 가중치를 학습한다. 이 구조는 전역 및 지역 정보를 동시에 포착하면서도, 드롭아웃을 통해 stochasticity를 주입한다.

실험 결과는 비지도식 GNN이 기존의 greedy 혹은 전통적인 휴리스틱보다 일관되게 우수한 해를 제공함을 보여준다. 특히, 드롭아웃·스냅샷 앙상블을 결합했을 때 최적성 갭이 현저히 감소하며, 이는 단일 모델이 실제로 “암묵적 앙상블” 역할을 수행한다는 강력한 증거다. 논문은 또한 기존 연구가 제시한 “GNN은 greedy보다 못하다”는 주장에 대한 한계를 지적한다. 그들은 대부분 로컬 구조가 충분히 강한 인스턴스에만 평가했으며, 전역 제약을 명시적으로 학습에 포함시켰을 때 GNN이 얼마나 강력한 휴리스틱이 될 수 있는지를 보여준다.

결론적으로, 이 연구는 (1) 전역 구조를 인덕티브 바이어스로 명시적으로 삽입하면 GNN이 비지도식으로도 강력한 휴리스틱이 될 수 있음, (2) 단일 학습 궤적과 드롭아웃·스냅샷 기법만으로도 효과적인 앙상블 효과를 얻을 수 있음, (3) 이러한 접근법이 기존의 탐색·강화학습 기반 방법보다 계산 효율성이 높으며, 실제 대규모 조합 최적화 문제에 적용 가능함을 입증한다.