그래프 분류에서 라벨 노이즈에 강인한 에너지 기반 부드러움 기법

초록

**
본 논문은 그래프 분류 작업에서 라벨 노이즈에 취약한 기존 GNN의 한계를 분석하고, 노드 표현의 디리클레 에너지(Dirichlet Energy)가 낮을수록 모델이 부드러워져 노이즈에 강인함을 보인다는 가설을 제시한다. 이를 바탕으로 (1) 가중치 행렬의 음수 고유값을 제거해 스펙트럼을 제한하고, (2) 학습 손실에 디리클레 에너지 정규화를 추가하며, (3) 그래프‑레벨 중심을 이용한 GCOD 손실을 도입하는 세 가지 방법을 제안한다. 실험 결과, 제안 기법들은 대칭·비대칭 노이즈 상황에서도 정확도를 크게 향상시키면서, 깨끗한 데이터에서는 성능 저하가 없음을 확인한다.

**

상세 분석

**
이 논문은 그래프 신경망(GNN)이 라벨 노이즈에 취약한 원인을 ‘표현 부드러움’이라는 관점에서 재조명한다. GNN은 메시지 패싱을 통해 인접 노드의 특징을 평균·합산함으로써 자연스럽게 저주파(저에너지) 신호를 강조하고, 고주파(고에너지) 성분을 억제한다. 저자들은 디리클레 에너지 (E_{\text{dir}}) 를 노드 임베딩의 스무스함을 정량화하는 지표로 채택하고, 학습 초기에 진짜 패턴을 학습할 때는 (E_{\text{dir}}) 가 감소하지만, 노이즈 라벨을 외우기 시작하면 고주파 성분이 급격히 증가해 (E_{\text{dir}}) 가 상승한다는 현상을 실험적으로 입증한다.

특히, 다음과 같은 실패 모드를 체계적으로 분석한다.

1. 과다 파라미터화: 클래스 수를 줄이거나 그래프 규모를 축소하면 모델 용량 대비 과제 난이도가 낮아져, 동일한 아키텍처가 노이즈를 쉽게 기억한다.
2. 저차 그래프: 노드 수가 적은 그래프는 집계 정보가 부족해 고주파 신호가 더 크게 반영되며, 이는 (E_{\text{dir}}) 증가와 직결된다.
3. 소규모 학습 데이터: 학습 샘플이 적을수록 깨끗한 패턴을 학습할 기회가 줄어들어, 노이즈에 과적합하기 쉽다.

이러한 현상을 바탕으로 저자들은 (E_{\text{dir}}) 를 진단 신호로 활용한다. 훈련 과정에서 (E_{\text{dir}}) 가 급등하면 모델이 노이즈를 외우기 시작한 것으로 판단하고, 이를 억제하기 위한 세 가지 전략을 제안한다.

1. 스펙트럴 가중치 제약 (Spectral Weight Constraints)

   • 각 레이어의 가중치 행렬 (W) 에 대해 고유값 분해를 수행하고, 음수 고유값을 0으로 클리핑한다. 이는 가중치가 저주파 필터 역할을 강화해 고주파 증폭을 방지한다. 이 과정은 디리클레 에너지 감소와 수학적으로 동등함을 증명한다.

2. 디리클레 에너지 정규화 (Explicit Energy Regularization)

   • 손실 함수에 (\lambda \cdot E_{\text{dir}}(Z)) 항을 추가한다. 여기서 (Z) 는 최종 노드 임베딩이며, (\lambda) 는 하이퍼파라미터다. 이 정규화는 학습 초기에 저주파 성분을 유지하도록 압력을 가해, 노이즈 라벨에 대한 과적합을 억제한다.

3. GCOD 손실 (Graph‑Centroid‑Oriented Discrepancy loss)

   • 각 클래스별 그래프 레벨 임베딩 중심 (\mu_c) 를 정의하고, 샘플 (i) 의 임베딩 (z_i) 와 해당 클래스 중심 간 거리를 최소화하면서, 반대 클래스 중심과의 거리는 최대화한다. 이는 샘플이 올바른 클래스 중심에 가까워지도록 유도해, 노이즈 라벨이 가진 불일치성을 자연스럽게 억제한다.

세 방법 모두 고주파 에너지 성분을 억제한다는 공통 목표를 갖지만, 구현 난이도와 연산 비용에서 차이를 보인다. 스펙트럴 제약은 가중치 업데이트 단계에 고유값 분해가 필요해 비용이 크지만, 한 번 적용하면 추가 손실이 필요 없다. 에너지 정규화는 구현이 간단하지만 (\lambda) 조정이 민감하다. GCOD는 클래스 중심을 동적으로 추정하므로 대규모 데이터에서 메모리 부담이 있다.

실험에서는 7개의 벤치마크(예: PROTEINS, MUTAG, PPA 등)와 대칭·비대칭 노이즈 설정(노이즈 비율 10%~40%)을 사용했다. 모든 방법이 기본 CE 손실 대비 평균 +6.3% 정확도 향상을 보였으며, 특히 비대칭 노이즈 상황에서 GCOD가 가장 큰 개선을 기록했다. 또한, 깨끗한 데이터(노이즈 0%)에서는 기존 모델과 동등한 성능을 유지해, 제안 기법이 일반화 성능을 해치지 않음을 확인했다.

이 논문은 디리클레 에너지를 GNN의 노이즈 강인성을 설명하는 핵심 물리량으로 제시함으로써, 기존의 손실 기반 혹은 샘플 선택 기반 접근법과는 다른 스펙트럴·에너지 기반 패러다임을 제시한다. 향후 연구에서는 이 에너지 관점을 다른 그래프 작업(예: 그래프 회귀, 링크 예측)이나, 적대적 공격 방어와 연결하는 방향이 기대된다.

**