고정 배포 그래프 신경망의 일반화와 안정성을 위한 토큰화 혼합 전문가

초록

본 논문은 배포된 상태에서 파라미터가 고정된 그래프 신경망(GNN)이 깨끗한 데이터 적합, 분포 이동에 대한 일반화, 입력 교란에 대한 안정성이라는 세 목표를 동시에 달성하기 어려운 구조적 한계를 이론적으로 규명한다. 정적 추론은 안정성 예산에 의해 고주파(민감) 특성 활용이 제한돼 최악 환경 위험에 하한이 존재함을 보이며, 인스턴스 조건부 라우팅(ICC)으로 이 한계를 깨뜨릴 수 있지만 라우팅 자체가 교란에 취약함을 지적한다. 이를 해결하기 위해 저자는 MoE 인코더, 벡터 양자화 토큰 인터페이스, Lipschitz 정규화 헤드를 결합한 STEM‑GNN 프레임워크를 제안하고, 9개 벤치마크에서 세 목표 간 균형을 크게 향상시켰음을 실험적으로 입증한다.

상세 분석

논문은 먼저 고정된 파라미터를 가진 GNN이 배포 단계에서 세 가지 상충 목표—깨끗한 데이터 적합(Rₜ), 최악 환경 일반화(Rₒₒd), 교란에 대한 안정성(Rₛₜₐb)—를 동시에 만족하기 어려운 구조적 트레이드오프를 가지고 있음을 수학적으로 증명한다. 정적 추론(H₁)에서는 모든 입력에 동일한 메시지 패싱 연산을 적용하므로, 교란에 강인하려면 고주파 성분(민감한 특징) 사용을 억제해야 한다. 이때 모델이 고주파 성분에 의존하는 정도를 η로 두고, 안정성 예산 ε가 주어지면 η≤ε·L_h·ρ 로 제한된다. 반면 충분한 적합을 위해서는 η≥η_min(α) 가 필요하고, 두 조건이 충돌하면 최악 환경 위험 Rₒₒd 은 양의 하한 β₁(α,ε) 를 갖게 된다. 즉, 정적 GNN은 세 목표를 동시에 최적화할 수 없는 근본적인 한계가 존재한다.

이를 극복하기 위해 인스턴스 조건부 계산(ICC, H₂)을 도입한다. 라우팅 함수 r_θ(z)가 입력마다 다른 실행 경로를 선택하고, 실행 맵 F가 해당 경로에 맞는 메시지 패싱을 수행한다. 이 구조는 다양한 환경을 커버할 수 있는 메커니즘 집합을 제공해 η를 입력별로 조정함으로써 Rₒₒd 의 하한을 낮출 수 있다. 그러나 라우팅 자체가 분포 이동이나 작은 교란에 의해 변동하면, (i) 선택된 메커니즘이 교란에 민감하거나, (ii) 라우팅이 바뀌어 연쇄적인 출력 변동이 발생한다. 논문은 이를 “커버리지‑선택”과 “민감도‑드리프트 증폭” 두 축으로 분해하여 각각의 위험 요인을 명시한다.

이론적 통찰을 바탕으로 제안된 STEM‑GNN은 세 가지 핵심 설계 요소를 결합한다. 첫째, MoE 인코더는 다수의 전문가(전달 경로)를 공유 파라미터 하에 학습시켜 다양한 입력에 대해 서로 다른 조합을 제공, 메커니즘 커버리지를 확장한다. 둘째, 벡터 양자화(VQ) 토큰 인터페이스는 인코더 출력을 고정된 코드북으로 이산화함으로써 작은 연속 교란이 토큰 변화를 일으키지 않게 하여 라우팅 전후의 신호를 안정화한다. 셋째, Lipschitz 정규화(프라보니우스 규제)를 적용한 예측 헤드는 전체 시스템의 리프시츠 상수를 제한, 토큰 전환이나 잔여 변동이 출력에 과도히 증폭되는 것을 방지한다. 이러한 설계는 “커버리지 확대 + 라우팅 안정화 + 출력 민감도 억제”라는 삼중 방어선을 형성한다.

실험에서는 노드 분류, 링크 예측, 그래프 수준 예측 등 9개의 데이터셋을 사용해 기존 최첨단 방법들과 비교한다. 결과는 STEM‑GNN이 (1) degree 및 homophily 변화와 같은 구조적 분포 이동에 대해 일반화 성능을 크게 높이고, (2) 특성 마스킹·엣지 삭제와 같은 교란에 대해 안정성 지표를 개선하며, (3) 깨끗한 테스트에서는 경쟁력 있는 정확도를 유지함을 보여준다. 특히, 라우팅 토큰의 변동률이 낮고, 헤드의 Lipschitz 상수가 제한된 상황에서 가장 큰 성능 향상이 관찰되었다. 전체적으로 이 논문은 고정 배포 환경에서 GNN이 직면한 “불가능한 삼각형”을 이론·실험적으로 해소하는 새로운 패러다임을 제시한다.