그래프 분류와 해석을 위한 NNK 기반 비파라메트릭 모델

초록

본 논문은 Graph Isomorphism Network(GIN)으로 그래프 임베딩을 학습한 뒤, 전통적인 소프트맥스 분류기를 비파라메트릭인 Non‑Negative Kernel regression(NNK)으로 교체한다. NNK는 임베딩 공간에서 가장 유사한 학습 샘플들의 비음수 가중치 조합으로 예측을 수행해, 높은 정확도와 직관적인 사례 기반 설명을 동시에 제공한다. NCI1 데이터셋 실험에서 임베딩 품질이 우수할 경우 NNK가 기존 소프트맥스보다 우수한 성능을 보이며, 해석 가능성도 크게 향상됨을 확인하였다.

상세 분석

이 연구는 GNN 기반 그래프 분류에서 가장 흔히 사용되는 파라메트릭 소프트맥스 레이어의 한계를 지적하고, 비파라메트릭 인터폴레이션 기법인 NNK를 도입함으로써 두 가지 핵심 목표를 달성한다. 첫째, GIN이 생성한 고차원 임베딩을 그대로 활용해 k‑nearest neighbor 탐색을 수행하고, 선택된 이웃들에 대해 커널 기반 최소제곱 최적화를 통해 비음수 가중치 θ를 구한다. 이 과정은 제약조건 θ≥0와 정규화 Σθ=1을 만족하므로, 예측은 해당 이웃들의 라벨을 비음수 가중치로 선형 결합한 형태가 된다. 이러한 구조는 기존 소프트맥스가 학습 과정에서 전역적인 파라미터를 최적화하는 반면, NNK는 각 쿼리마다 지역적인 데이터 구조에 기반해 가중치를 동적으로 산출한다는 점에서 근본적인 차이를 보인다.

두 번째로, NNK의 해석 가능성은 두 가지 측면에서 강화된다. 첫째, 최적화 결과 대부분의 θ가 0이 되고 소수의 이웃만이 활성화되므로, 예측에 기여한 학습 샘플을 명확히 식별할 수 있다. 이는 “예시 기반 설명”이라 부를 수 있으며, 각 이웃의 가중치가 해당 샘플이 쿼리 그래프와 얼마나 유사한지를 정량적으로 보여준다. 둘째, NNK가 정의하는 지역적인 볼록 다면체(polytope)는 커널 공간에서 선형 독립적인 방향을 제공하는 이웃들만을 포함한다. 논문은 이를 Kernel Ratio Interval(KRI)이라는 기하학적 조건으로 정량화하여, 어떤 이웃 쌍이 동시에 활성화될 수 있는지를 이론적으로 설명한다. 이러한 기하학적 해석은 모델의 안정성과 일반화 능력을 이해하는 데 중요한 통찰을 제공한다.

실험에서는 NCI1 데이터셋을 사용해 두 가지 시나리오를 비교한다. 첫 번째는 전통적인 소프트맥스 레이어를 사용한 감독 학습이며, 두 번째는 동일한 GIN 임베딩 위에 NNK를 적용한 비파라메트릭 분류이다. 결과는 두 가지 평가 시점에서 차이를 보인다. 검증 단계에서 가장 좋은 체크포인트를 선택했을 때, NNK는 정확도 0.8273, Macro‑F1 0.812 등 소프트맥스(0.7786, 0.754)보다 일관되게 우수했다. 반면 최종 학습 스냅샷에서는 임베딩이 과적합되거나 불안정해짐에 따라 NNK 성능이 감소하였다. 이는 NNK가 임베딩의 기하학적 일관성에 크게 의존한다는 점을 시사한다.

또한, 논문은 구현 세부사항으로 FAISS를 이용한 고속 최근접 이웃 검색, 차원 128의 은닉층, 5개의 GIN 레이어, 드롭아웃 0.5, 학습률 1e‑3 등을 명시한다. 최적화는 차수 제약을 가진 이차형 프로그램을 Cholesky 분해 기반 솔버로 해결해 효율성을 확보한다. 전체적으로 이 연구는 GNN의 표현력과 NNK의 해석 가능성을 결합함으로써, 파라메트릭 레이어가 반드시 필요하지 않으며, 데이터 구조에 맞는 비파라메트릭 접근이 성능과 투명성을 동시에 달성할 수 있음을 입증한다.