그래프와 특징 정렬이 딥러닝 성능을 좌우한다

본 연구는 그래프 컨볼루션 네트워크(GCN)의 분류 성능이 노드 특징, 그래프 구조, 그리고 라벨(ground truth) 사이의 정렬 정도에 크게 의존한다는 가설을 제시하고, 이를 정량화하기 위한 새로운 지표인 서브스페이스 정렬 측도(Subspace Alignment Measure, SAM)를 정의한다. 1. **배경 및 동기** - 전통적인 CNN은 이미지와 같이 유클리드 구조를 가진 데이터에 최적화돼 왔으며, 그 성공 요인은 지역 연결성, 가중치 공유, 풀링 등 네트워크 구조에 내재된 통계적 특성에 있다. - 반면, 소셜 네트워크, 유전자 조절망, 인용 네트워크 등은 그래프 형태의 비유클리드 구조를 갖는다. 이러한 데이터에 적용되는 GNN, 특히 GCN은 그래프 라플라시안의 스펙트럴 특성을 활용해 노드 특징을 전파한다. - 그러나 그래프와 특징이 서로 일치하지 않을 경우, GCN이 오히려 성능 저하를 보일 수 있다. 따라서 그래프와 특징이 라벨과 얼마나 정렬되어 있는지를 측정할 필요가 있다. 2. **수학적 정의** - 특징 행렬 X (N × C₀), 정규화된 인접 행렬 Â (N × N), 라벨 행렬 Y (N × F)를 각각 서브스페이스로 간주한다. - 각 서브스페이스는 직교 기저 행렬 Uₓ, Uₐ, Uᵧ 로 표현되며, 두 서브스페이스 사이의 주각(θ₁,…,θ_k)을 구한다. - 주각을 이용해 chordal distance d(U,V)=√(k−∑cos²θ_i) 를 정의하고, 세 쌍(특징‑그래프, 특징‑라벨, 그래프‑라벨)에 대한 거리 행렬 D 를 만든다. - SAM은 D의 Frobenius norm, 즉 ‖D‖_F 로 정의된다. 값이 클수록 정렬이 낮고, 작을수록 정렬이 높다. 3. **실험 설계** - **무작위화 전략**: (i) 그래프 무작위화는 구성 모델을 이용해 일정 비율(pₐ)만큼 엣지를 재배치하면서 degree distribution을 유지한다. (ii) 특징 무작위화는 노드 특징 벡터를 일정 비율(pₓ)만큼 섞어, PCA 고유값은 보존하되 고유벡터를 교환한다. 라벨 Y는 고정한다. - **제한 경우**: (a) No Graph (A=0) → MLP, (b) Complete Graph (A=J−I) → 평균화된 전파, (c) No Features (X=I) → 순수 라벨 전파. 각 경우에 SAM과 정확도를 비교한다. - **데이터셋**: (i) 인공적으로 설계한 예시, (ii) Cora, (iii) AMiner, (iv) Wikipedia I (GCN 우수), (v) Wikipedia II (MLP 우수). 4. **주요 결과** - 무작위화 비율이 증가할수록 SAM이 선형적으로 증가하고, GCN 정확도는 급격히 감소한다. 이는 정렬이 깨질수록 모델 성능이 악화된다는 가설을 실증한다. - 제한 경우 실험에서, No Graph 상황에서는 SAM이 가장 낮고 정확도가 MLP과 동일하거나 약간 낮았다. Complete Graph에서는 특징이 급격히 평균화돼 성능이 감소했으며, No Features 경우에는 그래프만으로 라벨 전파가 가능하지만 정확도는 낮았다. - 실제 데이터셋에서 SAM이 높은 Cora와 AMiner에서는 GCN이 MLP보다 5~10% 높은 정확도를 보였으며, SAM이 낮은 Wikipedia II에서는 오히려 MLP이 우수했다. 이는 데이터마다 그래프와 특징의 정렬 정도가 다르며, SAM을 사전에 측정하면 모델 선택에 유용함을 보여준다. 5. **의의 및 활용** - SAM은 그래프와 특징 사이의 정렬을 한 번에 정량화하는 기하학·스펙트럴 지표로, 기존의 단일 그래프 스펙트럼 분석이나 특징 상관 분석보다 포괄적이다. - 데이터 전처리 단계에서 SAM을 계산하면, 그래프를 강화하거나 특징을 재구성하는 전략을 선택할 수 있다. 예를 들어, SAM이 낮은 경우 그래프를 정제하거나 특징을 재학습하는 것이 필요하다. - 또한, GNN 설계 시 SAM을 활용해 그래프‑특징‑라벨 정렬을 최적화하는 새로운 아키텍처(예: 정렬 기반 가중치 조정) 개발의 기반이 될 수 있다. 6. **결론** - 논문은 그래프, 특징, 라벨 사이의 정렬이 GCN 성능을 결정한다는 가설을 서브스페이스 정렬 측도(SAM)를 통해 입증하였다. - 무작위화 실험, 제한 경우 분석, 실제 데이터셋 적용을 통해 SAM이 높은 경우 GCN이, 낮은 경우 MLP이 더 좋은 성능을 보임을 확인했다. - 이 연구는 GNN 분야에서 데이터 정렬을 정량화하고, 모델 선택 및 설계에 실용적인 가이드를 제공하는 중요한 기여를 한다.