근사 고유벡터 계산으로 보는 암묵적 정규화

초록

본 논문은 그래프 라플라시안의 최소 비자명 고유벡터를 근사적으로 구하는 세 가지 무작위 워크 기반 알고리즘(열핵, PageRank, 절단된 게으른 워크)을 분석한다. 각 알고리즘이 실제로는 정규화된 반정밀도 SDP를 정확히 최적화한다는 점을 밝혀, 근사 연산이 암묵적인 정규화 효과를 제공함을 수학적으로 증명한다.

상세 분석

논문은 먼저 그래프 라플라시안 L의 두 번째 고유벡터 v₂를 찾는 전통적 최적화 문제를 제시한다. 이 문제는 ‖v‖₂=1, 1ᵀv=0이라는 제약 하에 vᵀLv를 최소화하는 형태이며, 이는 반정밀도(SDP) 형태로도 기술될 수 있다. 그러나 대규모 그래프에서는 직접적인 고유값 분해가 비현실적이므로, 저자들은 세 가지 근사 알고리즘을 선택한다. 첫 번째는 열핵(heat kernel) 전파를 이용해 e^{-tL}·x를 계산하는 방법이며, t가 커질수록 고주파 성분이 억제돼 자연스럽게 스무딩 효과가 발생한다. 두 번째는 PageRank 벡터를 구하는 반복식 x = αPx + (1-α)u 로, 여기서 α는 전이 확률, u는 텔레포트 분포이다. 이 식은 (I-αP)⁻¹u 형태의 해를 제공하고, 이는 L에 대한 Tikhonov 정규화와 동등함을 보인다. 세 번째는 lazy random walk를 k단계만 수행하는 절단(truncated) 방식으로, 이는 L의 고차 다항 근사와 동일시될 수 있다. 저자들은 각각의 알고리즘이 실제로는 원래의 비정규화 문제에 정규화 항을 추가한 새로운 SDP를 정확히 풀고 있음을 증명한다. 핵심은 정규화가 변수 v 자체가 아니라 SDP의 행렬 변수 X=vvᵀ에 적용된다는 점이다. 즉, 근사 연산은 X에 대한 트레이스 제약과 라플라시안에 대한 선형 목표를 유지하면서, 추가적인 엔트로피 혹은 ℓ₂-노름 정규화 항을 삽입한다. 이러한 정규화는 해의 스펙트럼 구조를 부드럽게 만들고, 노이즈에 대한 민감도를 감소시킨다. 논문은 수학적 증명 외에도 실험적으로 작은 그래프에서 정규화된 해와 근사 해가 거의 일치함을 보여, 대규모 네트워크에서도 근사 알고리즘이 효과적인 정규화 메커니즘을 제공한다는 실용적 의미를 강조한다.