동질성에 따른 그래프 컨볼루션 네트워크의 이중 하강 일반화 조절

본 연구는 그래프 신경망(GNN)의 일반화 메커니즘을 이해하기 위해, 특히 전이학습(반감학습) 설정에서 나타나는 ‘이중 하강(double descent)’ 현상을 집중적으로 분석한다. 기존의 통계 학습 이론(V‑C 차원, 라데머 복잡도 등)은 그래프 구조와 특징이 동시에 라벨 정보를 제공한다는 사실을 반영하지 못해, GNN 특유의 일반화 현상을 설명하지 못한다. 이를 해결하고자 저자들은 두 단계로 접근한다. 첫 번째 단계는 실험적 관찰이다. 다양한 GNN 아키텍처(1‑layer GCN, 2‑layer GCN, ReLU 활성화, 드롭아웃, 교차 엔트로피 손실 등)를 Cora(동질성), Chameleon·Texas(이질성) 등 여러 실제 데이터셋에 적용하고, 훈련 라벨 비율 τ = |V_train|/|V| 를 로그 스케일로 변동시켰다. 그 결과, τ가 작을 때는 전통적인 편향‑분산 트레이드오프와 유사하게 위험이 감소하지만, 일정 시점(보간점)에서 급격히 상승하고, 이후 τ를 더 늘리면 다시 감소하는 전형적인 double‑descent 곡선이 관찰되었다. 특히 동질성 그래프(Cora)에서는 위험이 명확히 두 번 최소화되는 반면, 이질성 그래프(Texas, Chameleon)에서는 위험이 거의 단조 감소하거나, 정규화가 없을 경우 위험이 크게 증가하는 현상이 나타났다. 또한, 자기루프(self‑loop)의 존재 여부와 부호가 위험에 미치는 영향을 실험적으로 확인했으며, 양의 자기루프는 동질성 그래프에서 성능을 향상시키지만, 이질성 그래프에서는 오히려 성능을 저하시킨다. 두 번째 단계는 이론적 분석이다. 저자들은 ‘컨텍스추얼 스토캐스틱 블록 모델(CSBM)’을 제안한다. CSBM은 두 커뮤니티가 존재하고, 커뮤니티 내·외부 연결 확률(p_in, p_out)과 노드 특징 평균(μ_in, μ_out)이 서로 다르게 설정된 확률 그래프이며, 동질성 파라미터 h = (p_in‑p_out)/(p_in + p_out) 로 동질·이질 정도를 조절한다. 특징은 각 커뮤니티마다 평균이 다른 가우시안 분포를 따르며, 노이즈 수준 σ_f 로 표현된다. 그래프 자체의 불확실성은 에지 존재 확률의 변동 σ_g 로 모델링한다. 이 모델 위에 ‘다항 필터’를 갖는 단순 GCN을 정의한다. 인접 행렬 A에 자기루프와 정규화를 적용한 후, 라플라시안 L = I ‑ D^{-1/2} A D^{-1/2} 에 대해 f(L)=∑_{k=0}^{K}θ_k L^k 를 적용한다. 필터 계수 θ_k 는 학습 가능한 파라미터이며, 최종 임베딩은 Z = f(L)X 로 얻는다. 선형 분류기 w 를 통해 라벨을 예측하고, 평균 제곱 오차(MSE) 손실에 L2 정규화를 추가한다. 핵심 가정은 ‘유니버설리티 추측’이다. 대규모 N 한계에서 이진 인접 행렬을 가우시안 행렬로 교체해도 위험 함수가 변하지 않는다는 가정으로, 이는 랜덤 행렬 이론을 적용할 수 있게 만든다. 이를 바탕으로 스핀 글라스 모델과 유사한 자유 에너지 함수를 도출하고, 평균장(mean‑field) 근사를 통해 위험 R(τ,σ_g,σ_f,h) 를 정확히 계산한다. 위험은 크게 두 항으로 분해된다. 첫 번째 항은 그래프와 특징의 상호작용으로, h·σ_g·σ_f 형태이며, 동질성(h≈1)일수록 그래프와 특징이 서로 보강해 위험을 낮춘다. 두 번째 항은 전형적인 double‑descent 항으로, 파라미터 복잡도 α = |θ|/N 와 라벨 비율 τ 의 차이 γ = α ‑ τ 에 따라 형태가 결정된다. 위험은 τ ≈ α (보간점)에서 급격히 상승하고, τ를 더 늘리면 다시 감소한다. 자기루프의 부호가 위험에 미치는 영향도 이론적으로 분석한다. 양의 자기루프는 라플라시안 스펙트럼을 오른쪽으로 이동시켜 고주파 성분을 억제한다. 동질성 그래프에서는 라벨 정보가 저주파에 집중돼 고주파 억제가 오히려 신호‑노이즈 비율을 개선하므로 위험이 감소한다. 반면 이질성 그래프에서는 라벨 정보가 고주파에 포함돼 있기 때문에 양의 자기루프는 정보를 손실시켜 위험을 증가시킨다. 따라서 저자들은 ‘음의 자기루프’(θ_self < 0)를 도입한 변형 GCN을 설계했고, 이 경우 스펙트럼 이동이 반대 방향으로 일어나 이질성 그래프에서 위험이 크게 감소한다는 것을 증명하였다. 이론적 결과를 실제 데이터에 적용해 보면, 위험 곡선이 실험적으로 관측된 double‑descent와 매우 높은 정밀도로 일치한다. 특히, 그래프·특징 노이즈와 동질성 파라미터를 조절한 가상 실험에서 위험의 형태가 예측대로 변함을 확인했다. 또한, 음의 자기루프를 적용한 최신 GCN(예: GraphSAGE, GraphSAINT, GraphSAE)에서는 이질성 데이터셋(Chameleon, Texas)에서 평균 3~5% 정확도 향상이 보고되었으며, 동질성 데이터셋에서는 성능이 크게 변하지 않음이 확인되었다. 논문의 마지막 부분에서는 기존 복잡도 기반 일반화 이론과 통계 물리학 기반 접근법의 차이를 논의한다. 복잡도 이론은 일반적인 상한을 제공하지만, 그래프와 특징 사이의 상호작용을 정량화하지 못한다. 반면 통계 물리학 접근은 데이터 생성 모델을 명시적으로 가정하고, 위험을 정확히 계산함으로써 실제 현상을 설명한다. 저자들은 이러한 프레임워크가 향후 GNN 설계, 하이퍼파라미터 튜닝, 그리고 도메인 별(동질성·이질성) 맞춤형 아키텍처 개발에 유용한 가이드라인을 제공한다고 주장한다. 요약하면, 이 논문은 (1) 전이학습 GNN에서도 라벨 비율이 모델 복잡도와 동등하게 작용해 double‑descent를 유발한다, (2) 그래프·특징 노이즈와 동질성 정도가 위험 곡선의 형태를 결정한다, (3) 자기루프의 부호 조절이 동질성·이질성에 따라 성능을 크게 바꿀 수 있다, (4) 통계 물리학과 랜덤 행렬 이론을 활용한 정확한 위험 분석이 가능함을 입증한다. 이러한 통찰은 GNN 연구와 실무 적용 모두에 중요한 이론적·실용적 기여를 제공한다.