지역판별 가우시안 차원축소

초록

LDG는 로컬 이차 판별 분석의 leave‑one‑out 오류를 근사한 목표함수를 사용해, 각 훈련 샘플 주변에서 유사한 데이터와 비유사한 데이터를 구분하도록 선형 변환을 찾는다. 목표함수는 단일 고유값 분해로 최적화되며, 차원 수가 많거나 샘플이 많은 경우에도 효율적으로 동작한다. 또한 전이 학습 상황을 위해 확장되어, 테스트 분포가 훈련 분포와 다를 때도 좋은 성능을 보인다.

상세 분석

LDG는 지도학습 차원축소 문제를 “지역적 판별 가우시안” 모델에 기반한 최적화 문제로 재정의한다. 구체적으로, 각 훈련 샘플 x_i에 대해 그 주변의 k‑최근접 이웃을 이용해 클래스별 평균 μ_{c,i}와 공분산 Σ_{c,i}를 추정한다. 이후 로컬 이차 판별 분석(QDA)의 leave‑one‑out(LOO) 오류를 근사하는 형태의 손실 L(W)=∑_i ℓ_i(W) 를 정의하고, 여기서 W는 d 차원( d≪D )으로의 선형 사영 행렬이다. ℓ_i(W)는 W가 적용된 후의 마할라노비스 거리 차이를 이용해, 올바른 클래스와 가장 가까운 오분류 클래스 사이의 차이를 최대화하도록 설계된다.

핵심은 ℓ_i(W)를 2차 형태로 근사함으로써 전체 손실이 W에 대한 2차 형태가 된다는 점이다. 이때 손실은 Tr(W^T S_B W) / Tr(W^T S_W W) 형태의 일반화된 레일리 비율과 유사해지며, 최적 W는 S_W^{-1} S_B 의 상위 eigenvector 로 얻어진다. 따라서 복잡한 비선형 최적화가 필요 없고, 단일 고유값 분해(eigen‑decomposition)만으로 해를 구한다.

계산 복잡도는 O(D^3) (고유값 분해)와 O(NkD) (로컬 통계량 계산) 정도이며, 특히 D가 매우 클 때도 메모리 효율적인 구현이 가능하다. 기존 LDA는 전역 공분산을 가정해 클래스 간 분산을 과소평가할 위험이 있지만, LDG는 각 샘플마다 로컬 공분산을 사용해 비선형 경계에 가까운 구조를 포착한다. 또한, 기존의 차원축소 방법들(예: PCA, LPP, LFDA)은 gradient descent 혹은 반복적 EM 절차가 필요해 대규모 데이터에 부적합한 경우가 많다.

전이 학습 확장은 소스 도메인의 로컬 통계와 타깃 도메인의 로컬 통계를 각각 추정한 뒤, 두 도메인의 공분산 차이를 정규화 항에 포함시켜 목표함수를 수정한다. 이렇게 하면 소스와 타깃 사이의 분포 차이를 최소화하면서도 판별력을 유지할 수 있다. 실험에서는 Office+Caltech, MNIST↔SVHN 등 다양한 도메인 적응 시나리오에서 기존 방법들을 앞서는 성능을 보였다.

요약하면, LDG는 로컬 판별 정보를 효율적으로 활용해 선형 차원축소를 수행하고, 고유값 분해 하나로 최적해를 얻으며, 전이 학습까지 자연스럽게 확장 가능한 구조적 장점을 가진다.