그래프 임베딩의 대규모 샘플 외 확장을 위한 딥 뉴럴 네트워크

본 논문은 그래프 기반 차원 축소 기법, 특히 라플라시안 고유벡터를 이용한 임베딩 방법이 훈련 데이터에만 정의된 비선형 매핑을 제공한다는 근본적인 한계를 해결하고자 한다. 기존의 Nyström 샘플 외 확장 방법은 커널 기반으로 테스트 샘플당 훈련 샘플 수에 비례하는 연산 복잡도를 가지며, 대규모 데이터셋에서는 실용적이지 않다. 이를 극복하기 위해 저자들은 딥 피드포워드 신경망을 이용해 임베딩 매핑을 파라메트릭하게 근사하는 새로운 프레임워크를 제안한다. 먼저, 라플라시안 고유값 계산을 위한 수치 안정성 향상이 소개된다. 라플라시안 L의 가장 작은 고유값을 직접 구하는 대신, 변환 행렬 eL = I‑L을 정의해 가장 큰 고유값을 찾도록 함으로써 Lanczos 알고리즘의 메모리 요구량과 수렴 문제를 크게 완화한다. 이 기법을 통해 100 백만 노드·10 억 엣지 규모의 그래프에서도 100개의 고유벡터를 며칠 안에 계산할 수 있었다. 다음으로, 딥 뉴럴 네트워크(DNN)를 이용한 매핑 근사 방법이 상세히 설명된다. 입력 x∈ℝᵈ와 목표 임베딩 z∈ℝᵈ⁰ 쌍을 이용해 평균 제곱 오차를 최소화하도록 네트워크를 학습한다. 네트워크는 N개의 은닉층과 각 층당 M개의 유닛으로 구성되며, tanh 활성화 함수를 사용한다. 출력층은 선형 변환으로 차원 d₀의 임베딩을 생성한다. 학습 과정은 두 단계로 나뉜다. 1) 무감독 스택드 오토인코더(SAE) 사전학습: 입력 X만을 사용해 각 은닉층을 순차적으로 학습함으로써 파라미터를 아이덴티티 매핑 근처에 초기화한다. 이는 깊은 네트워크가 초기부터 과도한 비선형성을 갖는 것을 방지하고, 이후 지도 학습에서의 최적화 안정성을 높인다. 2) 지도 미세조정: 사전학습된 파라미터를 초기값으로 삼아 (x_i, z_i) 쌍에 대해 MSE 손실을 최소화한다. 이 단계에서는 일반적인 확률적 경사 하강법(SGD)과 조기 종료(Early Stopping)를 적용해 과적합을 방지한다. 실험은 음성 인식 분야에서 널리 사용되는 TIMIT 코퍼스를 대상으로 수행되었다. 40차원 멜 스펙트로그램을 입력으로 사용하고, 10‑nearest neighbor 그래프를 구성해 라플라시안을 만든 뒤 전체 1.5 백만 샘플(훈련 + 테스트)에 대해 정확한 임베딩을 계산했다. 이후 훈련 샘플을 1 천, 10 천, 100 천, 1 백만으로 제한하여 각각 Nyström 방식과 제안된 DNN 방식을 비교하였다. 평가 지표는 정규화된 루트 평균 제곱 오차(NRMSE)이며, 0에 가까울수록 완벽한 확장을 의미한다. 결과는 다음과 같다. (1) 모든 훈련 샘플 규모에서 DNN은 Nyström보다 동등하거나 낮은 NRMSE를 기록했으며, 특히 100 천 이상에서는 차이가 크게 나타났다. (2) 테스트 시간 측면에서 DNN은 네트워크 구조가 고정된 한 훈련 샘플 수와 무관하게 일정한 연산량(N·M)만을 필요로 하여, Nyström이 훈련 샘플 수에 선형적으로 증가하는 시간에 비해 수십 배에서 수백 배까지 속도 향상을 보였다. (3) 무감독 사전학습은 은닉층 수가 5 이상인 깊은 네트워크에서 최적화 수렴 속도를 크게 개선했으며, 모델 선택에 대한 민감도를 감소시켰다. 이러한 발견은 그래프 임베딩의 샘플 외 확장을 비파라메트릭 커널 방식에서 파라메트릭 딥러닝 방식으로 전환함으로써, 대규모 데이터셋에서도 실시간 수준의 임베딩 추론이 가능함을 입증한다. 결과적으로 시각화, 음성 인식, 자연어 처리 등 고차원 데이터의 매니폴드 구조를 활용하는 다양한 응용 분야에서 사전 학습된 임베딩을 효율적으로 재사용할 수 있는 기반을 제공한다.