네트워크 노드 분류를 위한 동적 스택킹 모델

본 논문은 네트워크 구조를 갖는 데이터에서 노드 라벨을 예측하는 문제를 다루며, 특히 로컬 특성과 관계 특성을 동시에 활용하는 이질적인 분류기들을 효과적으로 결합하는 새로운 스택킹 기법을 제안한다. 서론에서는 네트워크 데이터가 노드와 엣지로 구성되며, 라벨이 일부 노드에만 알려진 상황에서 나머지 노드의 라벨을 추정하는 ‘노드 분류’ 문제의 중요성을 강조한다. 기존의 집합적 추론(Iterative Classification Algorithm, ICA, Gibbs Sampling, Relaxation Labeling 등)과 하이퍼링크 앙상블, 로컬·관계 분류기 결합 방식 등을 검토하면서, 이들 방법이 대부분 고정된 가중치 혹은 단순 투표에 의존한다는 점을 지적한다. 특히 Preisach와 Schmidt‑Thieme가 제안한 스택킹 기반 결합은 메타 모델이 고정된 로지스틱 회귀 가중치를 학습하지만, 관계 기반 분류기의 성능이 노드의 위상적 특성(예: 차수, 근접 중심성)에 따라 크게 달라지는 현상을 반영하지 못한다. 이를 해결하기 위해 저자들은 ‘동적 스택킹’이라는 개념을 도입한다. 기본 아이디어는 레벨‑0 모델들의 출력(클래스 확률)과 별도의 위상 특성 \(U_i\)를 입력으로 받아, 메타 모델이 각 분류기의 가중치를 연속적인 함수 형태로 학습하도록 하는 것이다. 이를 구현하기 위해 일반화 변동계수 모델(generalized varying‑coefficient model)을 채택한다. 구체적으로, 이진 분류 상황을 가정하고 로그링크 함수를 사용해 \( \text{logit}(P(y_i=1|U_i,Z_i)) = \beta_0 + \sum_{j=1}^p Z_{ij}\beta_j(U_i) \) 라는 형태의 회귀식을 설정한다. 여기서 \(Z_{ij}\)는 레벨‑0 모델 \(j\)가 제공한 클래스 확률이며, \(\beta_j(\cdot)\)는 위상 변수 \(U_i\)에 대한 스무딩 스플라인으로 근사된다. 스플라인 베이스 함수 \(B_k(\cdot)\)를 동일하게 사용해 \(\beta_j(U) = \sum_{k=1}^K \eta_{jk} B_k(U)\) 로 표현하고, 전체 파라미터 \(\eta\)를 로그우도와 매끄러움 페널티 \(\lambda\int (\beta_j''(x))^2dx\)를 합한 목적함수의 최소화 문제로 만든다. 페널티 파라미터 \(\lambda\)는 교차검증을 통해 선택되며, \(\lambda\)가 작을수록 함수가 유연해지고, 크게 하면 선형에 가까운 형태가 된다. 최적화는 뉴턴‑형 반복법을 사용해 수행한다. 실험 설계는 두 개의 실제 네트워크 데이터셋, Cora와 PubMed을 사용한다. Cora는 19,355개의 논문 노드와 58,494개의 무방향 엣지를 갖고, 70개의 주제 라벨을 가진다. PubMed은 19,717개의 논문과 44,338개의 인용 관계, 3개의 라벨을 가진다. 두 데이터 모두 노드의 차수와 근접 중심성을 위상 특성으로 선택했다. 먼저 wvRN(Weighted‑vote Relational Neighbor) 관계 분류기의 정확도가 차수와 중심성에 따라 크게 변함을 시각화(그림 1‑4)하여, 정적 가중치가 비효율적임을 실증했다. 이후 제안된 동적 스택킹 모델을 적용했으며, 레벨‑0 모델로는 로컬 텍스트 기반 분류기와 wvRN을 사용했다. 결과는 정적 스택킹(고정 가중치 로지스틱) 및 개별 모델 대비 평균 정확도가 3~5%p 상승했으며, 특히 차수가 낮거나 중심성이 낮은 노드에서 로컬 모델 가중치가 높아지고, 차수가 높고 중심성이 높은 노드에서는 관계 모델 가중치가 상승하는 가중치 곡선을 확인했다. 이는 모델이 자동으로 노드 특성에 맞는 최적 조합을 학습함을 의미한다. 논문의 주요 기여는 다음과 같다. 첫째, 스택킹 메타 모델에 변동계수 접근을 도입해 가중치를 비모수적으로 학습함으로써 기존 정적 스택킹의 한계를 극복했다. 둘째, 스플라인 기반 매끄러운 함수 추정을 통해 복잡한 비선형 가중치 변화를 포착하면서도 과적합을 제어할 수 있는 페널티 메커니즘을 제공했다. 셋째, 실제 대규모 네트워크 데이터에 적용해 실험적으로 성능 향상을 입증했으며, 가중치 함수 시각화를 통해 모델 해석 가능성을 높였다. 한계점으로는 (1) 스플라인 차원(K)와 페널티 파라미터 선택이 모델 복잡도와 계산 비용에 크게 영향을 미치며, 대규모 그래프에서는 최적화 비용이 증가할 수 있다. (2) 현재는 연속형 위상 특성 하나에만 초점을 맞추었으나, 다중 위상 변수나 이산형 변수(예: 커뮤니티 라벨)와의 결합은 추가적인 설계가 필요하다. (3) 메타 모델이 로지스틱 회귀 형태에 제한돼 있어, 비선형 메타 모델(예: 신경망)과의 결합 가능성을 탐색할 여지가 있다. 향후 연구에서는 다변량 변동계수 모델, 스파스 스플라인, 그리고 그래프 신경망 기반 레벨‑0 모델과의 통합을 통해 더욱 일반화된 동적 앙상블 프레임워크를 구축하고자 한다.