이종 그래프 앙상블 네트워크 HGEN

초록

HGEN은 메타패스와 랜덤 드롭아웃을 이용해 이종 그래프를 여러 동형 그래프로 변환하고, 각 그래프에 대해 다수의 알렐 GNN을 학습한다. 잔차‑어텐션으로 학습된 알렐 GNN을 가중합하고, 메타패스 간 임베딩 상관관계를 L1 정규화로 억제해 다양성을 확보한다. 최종적으로 MLP 디코더와 합산 투표를 통해 노드 분류 성능을 크게 향상시킨다.

상세 분석

본 논문은 이종 그래프(heterogeneous graph)라는 복합 구조에 대한 앙상블 학습을 최초로 체계화한 HGEN 프레임워크를 제안한다. 핵심 아이디어는 (1) 메타패스 기반으로 이종 그래프를 여러 개의 동형 서브그래프로 분해하고, (2) 각 서브그래프에 대해 노드 특성 드롭아웃을 적용해 변형된 입력을 만든 뒤, 동일한 GNN 아키텍처(GCN, GAT, GraphSAGE 등)를 서로 다른 초기화와 드롭아웃 비율로 다수(k) 학습함으로써 ‘알렐’ GNN을 생성한다는 점이다. 이렇게 하면 동일한 구조적 정보를 서로 다른 관점에서 학습하게 되어 기본 모델의 편향을 감소시키고, 데이터 희소성에 대한 강건성을 높인다.

다음 단계인 잔차‑어텐션(residual‑attention) 메커니즘은 알렐 GNN들의 출력 임베딩을 행별 평균으로 정규화한 뒤, 최소‑최대 정규화를 적용해 각 GNN에 대한 가중치를 동적으로 조정한다. 여기서 ‘잔차’는 평균 임베딩과의 차이를 의미하며, 이는 학습 초기의 아이덴티티 매핑을 보존하면서 비선형 어텐션 파라미터가 보다 안정적으로 수렴하도록 돕는다. 어텐션 가중치는 파라미터 W_i,j와 공유 프로젝션 W’_i에 의해 학습되며, 최종 임베딩은 가중합 형태로 결합된다.

다양성 확보를 위해 메타패스 간 상관관계 행렬 S를 계산하고, L1 정규화(‖S‖₁)를 손실에 추가한다. λ 하이퍼파라미터가 클수록 서로 다른 메타패스에서 얻은 임베딩이 서로 독립적이 되도록 강제한다. 이는 앙상블 이론에서 요구되는 ‘베이스 모델 간 상관도 감소’와 동일한 효과를 제공한다.

이론적 분석에서는 각 GNN 학습 복잡도를 O(nf+e)라 두고, 전체 HGEN의 시간 복잡도를 O(m·k·T)로 도출한다. 여기서 m은 메타패스 수, k는 알렐 GNN 수, T는 단일 GNN 학습 시간이다. 실험 결과는 m·k가 상대적으로 작을 경우 선형 확장성을 보이며, 대규모 그래프에서도 메모리·시간 오버헤드가 제한적임을 확인한다.

실험에서는 5개의 실제 이종 네트워크(학술, 소셜, 도시, 바이오 등)를 사용해 기존 이종 그래프 전용 모델(GEN, GEL, GNN‑Ensemble 등)과 비교하였다. HGEN은 평균 4~7%p 이상의 정확도 향상을 기록했으며, 특히 메타패스 다양성이 큰 데이터셋에서 그 효과가 두드러졌다. 또한, λ를 0.5로 설정했을 때 상관 정규화가 없는 경우보다 베이스 모델 간 상관도가 현저히 낮아져 앙상블 이득이 극대화되는 것을 확인했다.

요약하면, HGEN은 (1) 메타패스 기반 그래프 분해, (2) 랜덤 특성 드롭아웃을 통한 알렐 GNN 생성, (3) 잔차‑어텐션을 통한 가중합, (4) 상관 정규화로 다양성 강화라는 네 가지 핵심 메커니즘을 결합해 이종 그래프에 특화된 고성능 앙상블 학습 프레임워크를 제공한다.