그래프 신경 연산자를 위한 게이지 불변 스펙트럴 트랜스포머 GIST

**1. 연구 배경 및 문제 정의** 트랜스포머는 자연어 처리에서 시작해 이미지·비디오·그래프 등 다양한 구조적 데이터에 적용되고 있다. 그래프에 트랜스포머를 적용하려면 노드 간 위치 정보를 제공해야 하는데, 라플라시안 고유벡터를 이용한 스펙트럴 포지셔널 인코딩이 가장 자연스럽다. 그러나 고유벡터는 (1) 고유값·고유벡터 분해가 O(N³) 혹은 O(N²)라는 높은 계산 비용, (2) 고유벡터는 회전·부호·중복 고유공간 선택 등에 따라 자유도가 존재해 ‘게이지 변환’에 민감하다는 두 가지 근본적인 문제를 가진다. 이 두 문제가 동시에 존재하면, 동일한 연속체를 서로 다른 메쉬 해상도로 이산화했을 때 학습된 파라미터가 서로 다른 스펙트럴 좌표에 매핑되어 일반화가 크게 저하된다. **2. 핵심 아이디어 – 내적 기반 게이지 불변 어텐션** GIST는 스펙트럴 임베딩을 직접 사용하지 않고, 무작위 투영 행렬 R (크기 r×N, r=O(log N/ε²)) 로 ˜ϕ_i = R ϕ_i 를 만든다. Johnson‑Lindenstrauss 보조정리에 따라 ˜ϕ_i 간의 내적 ⟨˜ϕ_i,˜ϕ_j⟩ 은 원래 내적 ⟨ϕ_i,ϕ_j⟩ 와 ε 수준 내에서 보존된다. 내적은 고유벡터의 부호·회전·정렬 순서에 무관하므로, 어텐션 스코어를 α_ij = softmax_j ( q_iᵀk_j /√d + ⟨˜ϕ_i,˜ϕ_j⟩ ) 와 같이 정의하면 어텐션 가중치는 무작위 투영에 의존하지 않으며, 게이지 불변성을 알고리즘 차원에서 보장한다. **3. 선형 어텐션과 O(N) 복잡도** 전통적인 트랜스포머는 O(N²) 어텐션을 사용한다. GIST는 최근 선형 트랜스포머 기법(예: 랜덤 피처 맵, 커널 근사)을 차용해 φ(q_i)·φ(k'_j)ᵀ 형태로 어텐션을 근사한다. 여기서 k'_j = k_j ⊕ ˜ϕ_j 로 스펙트럴 내적을 키에 결합한다. φ는 랜덤 특징 맵이며, 전체 연산은 Σ_i φ(q_i)·(Σ_j φ(k'_j)·v_j) 형태로 재구성돼 O(N r) ≈ O(N) 복잡도를 얻는다. 논문은 이 구조가 정확도 손실을 최소화하면서 메모리·시간을 선형으로 유지함을 실험적으로 입증한다. **4. 이론적 보장 – Discretization‑Invariant Learning** GIST는 두 가지 정리를 제시한다. 첫 번째는 “Gauge‑Invariant Attention Theorem”으로, 내적 기반 어텐션이 고유벡터의 임의 회전·부호 변환에 대해 불변임을 증명한다. 두 번째는 “Bounded Discretization Error” 정리로, 서로 다른 메쉬 해상도에서 얻은 라플라시안 스펙트럼이 서로 다른 게이지를 가질 때, 내적 보존에 의해 학습된 연산자는 연속체 연산에 대한 ε‑오차 이하의 근사를 제공한다. 해상도가 증가하면 ε → 0 으로 수렴한다는 점에서 뉴럴 오퍼레이터로서의 일관성을 확보한다. **5. 실험 설정 및 결과** - *그래프 벤치마크*: Cora, PubMed, ogbn‑arxiv, PPI 등에서 기존 최고 성능 모델(Graphormer, SAN, SpecFormer 등)과 동등하거나 소폭 앞선 결과를 기록. 특히 PPI에서 99.50% micro‑F1 를 달성해 게이지 불변성을 유지하면서도 정확도를 보존함을 확인. - *대규모 메쉬 뉴럴 오퍼레이터*: DrivAerNet (≈ 500K 노드)와 DrivAerNet++ (≈ 750K 노드)에서 압력·속도 필드 예측을 수행. FNO, GNO, GINO 등 기존 메쉬 기반 오퍼레이터 대비 평균 절대 오차(MAE)를 12%~18% 감소시켰으며, 파라미터 수는 30% 이하로 유지. - *해상도 전이 실험*: 동일 학습 파라미터를 0.5×, 1×, 2× 해상도 메쉬에 적용했을 때 성능 저하가 거의 없으며, 이는 논문의 이론적 “bounded mismatch error”가 실제로 구현된 사례이다. **6. 한계 및 향후 연구** 무작위 투영 차원 r 를 선택할 때 ε‑정밀도와 메모리·연산량 사이의 트레이드오프가 존재한다. 매우 복잡한 PDE(예: 난류 시뮬레이션)에서는 더 높은 r 가 필요할 수 있다. 또한 현재 구현은 정규화된 라플라시안(L̂) 기반 내적을 사용하므로, 비대칭 가중치 그래프나 동적 토폴로지를 가진 데이터에 대해서는 추가 전처리나 확장이 필요하다. 향후 연구는 (1) 적응형 투영 차원 선택, (2) 비정규화 라플라시안에 대한 확장, (3) 멀티‑스케일 메쉬 코히어런스와 결합한 하이브리드 뉴럴 오퍼레이터 설계 등을 제시한다. **7. 결론** GIST는 스펙트럴 포지셔널 인코딩의 이론적 장점(전역 거리 보존)을 유지하면서, 무작위 투영과 내적 기반 어텐션을 통해 O(N) 선형 복잡도와 게이지 불변성을 동시에 달성한 최초의 그래프 트랜스포머 프레임워크이다. 이론적 정리와 광범위한 실험을 통해, GIST가 기존 그래프 학습과 뉴럴 오퍼레이터 양쪽 모두에서 최첨단 성능을 보이며, 메쉬 해상도에 구애받지 않는 파라미터 전이 가능성을 입증한다. 이는 물리 기반 시뮬레이션, 컴퓨터 그래픽스, 과학·공학 분야에서 대규모 메쉬 데이터를 다루는 새로운 패러다임을 제시한다.