그래프 기반 반감독 학습 최대 구분성

초록

본 논문은 라벨이 적은 상황에서 그래프 구조를 활용해 데이터의 저차원 표현을 학습하고, 그 표현을 AUC(곡선 아래 면적)를 직접 최적화함으로써 클래스 간 구분을 극대화하는 AUC‑spec 방법을 제안한다. 이론적으로 라벨 복잡도와 샘플 요구량을 분석하고, 합성 및 실제 데이터셋에서 기존 라벨 전파·스프레딩 기법보다 높은 정확도와 유사한 실행 시간을 보인다.

상세 분석

AUC‑spec은 전통적인 그래프 기반 반감독 학습이 “같은 라벨을 가진 샘플은 그래프 상에서 가깝게 위치한다”는 부드러움 제약만을 사용해 복잡한 라벨 분포에서 성능이 저하되는 문제를 해결한다. 저자는 라벨 전파(LP)와 라플라시안 고유벡터 기반 방법의 한계를 상세히 설명하고, 특히 라벨이 겹치는 클러스터나 연속적인 라벨 구조에서 라벨 값을 강제로 고정하면 해가 스파이크 현상을 보이거나 의미 있는 분류 경계가 형성되지 못한다는 점을 지적한다.

이를 극복하기 위해 AUC‑spec은 두 가지 목표를 동시에 최적화한다. 첫 번째는 라플라시안 L에 대한 𝑣ᵀL𝑣 형태의 부드러움 항으로, 그래프 구조를 보존한다. 두 번째는 라벨이 있는 샘플 집합 P와 N 사이의 순위 기반 AUC를 근사하는 sigmoid 함수 기반 기대값이다. 최종 목적함수 J(𝑣)=𝑣ᵀL𝑣−γ·AUĈ는 비볼록이지만, 저자는 파워 이터레이션에 그래디언트 보정 항을 추가하는 간단한 반복식으로 근사해를 구한다. 구체적으로 𝑣^{t+1}=𝑣^{t}+γ(L_rw𝑣^{t}+∇AUC) 형태의 업데이트를 수행하고, 각 이터레이션마다 벡터를 정규화한다. 여기서 ∇AUC는 모든 양·음 라벨 쌍 (i∈P, j∈N) 에 대해 σ_{ij}(1−σ_{ij}) 로 계산되며, 라벨 수가 적은 경우 계산 비용이 크게 증가하지 않는다.

다중 클래스 문제는 One‑vs‑Rest 전략으로 확장된다. 각 클래스 c에 대해 별도의 𝑣^{(c)}를 학습하고, 최종 예측은 𝑣^{(c)}_i 값이 가장 큰 클래스로 결정한다. 이때 전체 복잡도는 O(C·|E|) (희소 그래프)와 O(C·|P||N|) (AUC 그래디언트) 로, 라벨 비율이 낮을 때 실용적이다.

이론적 분석에서는 “product‑of‑manifold” 모델을 가정하고, 라벨이 충분히 분포된 경우 AUC‑spec이 그래프에 대해 부드러운 해를 제공함을 증명한다. 특히 라벨 수가 모델 파라미터(클러스터 수, 차원 등)의 다항식 수준이면 비자명한 예측기를 얻을 수 있음을 보인다. 이는 기존 LP가 라벨 수가 적을 때 스파이크 현상을 보이는 것과 대조된다.

실험에서는 (1) 원형 가우시안 클러스터, (2) 2‑차원 가우시안 혼합, (3) 여러 실제 데이터셋(예: MNIST 서브셋, 텍스트 분류) 에 대해 AUC‑spec을 적용한다. 합성 데이터에서는 라벨 전파가 클러스터 경계에 맞지 않아 정확도가 60% 이하인 반면, AUC‑spec은 90% 이상을 달성한다. 실제 데이터에서도 최신 그래프 신경망 기반 방법과 비슷하거나 약간 앞서는 성능을 보이며, 실행 시간은 전통적인 LP와 비슷하거나 약간 빠르다. 특히 라벨 수가 1% 수준일 때도 안정적인 결과를 유지한다.

전체적으로 AUC‑spec은 “라벨을 강제 고정하는 대신 라벨 간 순위 차이를 극대화한다”는 새로운 관점을 제시하며, 그래프 기반 반감독 학습의 이론적 라벨 복잡도와 실용적 효율성을 동시에 개선한다는 점에서 의미가 크다.