불균형 노드 분류를 위한 커리큘럼 기반 3단계 주의 네트워크

초록

본 논문은 그래프 신경망(GNN)에서 라벨 불균형 문제를 해결하기 위해, 인간 학습 과정을 모방한 ‘Engage‑Enact‑Embed’ 3단계 주의 메커니즘을 도입한 CL3AN‑GNN 모델을 제안한다. 초기에는 1‑hop 이웃, 저차수 노드, 초기 GCN·GAT 임베딩을 이용해 쉬운 특징을 학습하고, 이후 다단계 연결·다중 클래스 경계·소수 클래스 노드에 가중치를 조정한다. 마지막 단계에서는 반복 메시지 패싱과 커리큘럼 손실 가중치를 적용해 최종 임베딩을 정제한다. 8개의 OGB 데이터셋에서 정확도, F1, AUC 모두 기존 최첨단 방법을 능가했으며, 학습 속도·일반화·해석 가능성에서도 우수함을 보였다.

상세 분석

CL3AN‑GNN은 기존 GNN 기반 불균형 대응 방법(오버샘플링, 클래스 가중치, 하이브리드 앙상블)과 달리, 학습 과정을 단계적으로 구조화한다는 점에서 혁신적이다. 먼저 ‘Engage’ 단계에서는 그래프의 가장 기본적인 구조적 신호를 추출한다. 구체적으로 1‑hop 이웃 패턴, 저차수 노드의 원시 피처, 그리고 사전 학습된 GCN·GAT 임베딩을 이용해 클래스 간 구분이 명확한 샘플을 우선 학습한다. 이는 라벨 스큐가 심한 상황에서도 초기 손실이 급격히 발산하는 것을 방지하고, 모델이 ‘기초’를 충분히 습득하도록 만든다.

‘Enact’ 단계에서는 리시버 필드(receptive field)를 확장하면서 다중 홉 연결, 이질적 엣지 타입, 소수 클래스 경계에 해당하는 노드들을 대상으로 가변 주의 가중치를 적용한다. 논문은 가중치 매개변수를 학습 가능한 스칼라 α와 β로 정의하고, 이들을 현재 커리큘럼 단계(t)와 클래스별 가중치 w_c(y,t)와 연동시켜 손실에 반영한다. 이렇게 하면 학습이 진행될수록 복잡한 구조와 소수 클래스에 더 많은 ‘주의’를 할당하게 된다.

마지막 ‘Embed’ 단계에서는 앞선 두 단계에서 정제된 노드·엣지 임베딩을 다중 헤드 어텐션과 반복 메시지 패싱을 통해 심층적으로 통합한다. 여기서 사용된 커리큘럼 손실 L_curr(t) 는 시간‑의존적 가중치 λ_c(t), λ_e(t) 을 통해 기본 교차 엔트로피와 KL‑다이버전스 항을 조절한다. 즉, 초기에는 쉬운 샘플에 집중하고, 학습이 진행될수록 어려운 샘플에 대한 손실 비중을 점진적으로 높인다.

기술적 기여는 크게 네 가지로 요약된다. 첫째, ‘모듈형 3단계 아키텍처’를 도입해 각 단계의 역할을 명확히 구분하고, 단계별 출력이 다음 단계의 입력으로 자연스럽게 흐르도록 설계했다. 둘째, 단계‑특화 어텐션 게이팅 메커니즘을 통해 그래프 구조와 클래스 불균형을 동시에 고려한 동적 가중치를 제공한다. 셋째, 커리큘럼 손실에 클래스‑별 가중치를 통합해 학습 초기에 다수 클래스에 과도히 편향되는 현상을 완화한다. 넷째, 전체 프레임워크를 OGB‑CiteSeer, OGB‑Proteins 등 8개의 벤치마크에 적용했을 때, 기존 SOTA(예: GraphSMOTE, GraphENS, ReWeight‑GNN) 대비 평균 +3.2% 정확도, +4.5% F1, +2.8% AUC 향상을 기록했다.

실험 결과는 또한 학습 수렴 속도와 일반화 능력에서도 차별성을 보인다. ‘Engage’ 단계에서의 쉬운 샘플 중심 학습 덕분에 초기 손실이 급격히 감소하고, 전체 학습 epoch 수가 평균 15% 줄어들었다. 또한, 새로운 불균형 그래프(예: 라벨 비율 1:50)에도 전이 학습 없이 바로 적용 가능함을 보여, 커리큘럼‑기반 접근법이 데이터 편향에 대한 강인성을 제공함을 입증한다. 마지막으로, 어텐션 가중치와 손실 가중치의 시간‑변화 곡선을 시각화함으로써 각 단계가 실제로 ‘점진적 난이도 상승’을 구현하고 있음을 정량적으로 확인했다.

전체적으로 CL3AN‑GNN은 인간 학습 이론을 그래프 신경망에 체계적으로 매핑함으로써, 불균형 노드 분류라는 실용적 문제에 대한 새로운 해결책을 제시한다. 향후 연구에서는 커리큘럼 난이도 함수를 보다 정교하게 설계하거나, 동적 그래프와 메타‑학습 환경에 확장하는 방향이 기대된다.