반지도학습 기반 차원축소 통합 프레임워크

본 논문은 고차원 데이터가 저차원 매니폴드에 근접한다는 매니폴드 가정 하에, 라벨이 있는 데이터와 라벨이 없는 데이터를 동시에 활용하는 반지도 차원축소 프레임워크를 제안한다. 기존의 감독 학습 기반 차원축소 기법(Fisher Discriminant Analysis, Discriminant Neighborhood Embedding, Marginal Fisher Analysis, Local Fisher Discriminant Analysis 등)은 라벨 정보만을 이용해 클래스 내 근접성 및 클래스 간 분리를 최적화했지만, 라벨이 부족한 현실적인 상황에서는 성능이 제한적이었다. 이를 보완하기 위해 저자는 라벨이 없는 데이터의 구조적 정보를 비용 행렬 C_u로 모델링하고, 라벨이 있는 데이터의 클래스 정보를 비용 행렬 C_ℓ으로 모델링한다. 프레임워크의 핵심은 다음과 같은 최적화 문제이다. A* = arg min_{A∈𝒜} f_ℓ(AX) + γ f_u(AX) 여기서 f_ℓ와 f_u는 각각 라벨 기반, 비라벨 기반 거리 비용이며, γ는 두 비용의 상대적 중요도를 조절한다. 거리 비용은 제곱 유클리드 거리 ‖A x_i−A x_j‖²에 가중치 c_{ij}를 곱한 형태로 정의된다. 비용 행렬 C = C_ℓ + γ C_u를 구성하고, 대각 행렬 D_i = Σ_j c_{ij} 로 정의하면, 목표 함수는 trace( A X (D−C) Xᵀ Aᵀ ) 로 변환된다. 제약조건 A B Aᵀ = I (B는 양정 행렬) 를 두어 변환이 퇴화하지 않도록 하고, 이를 라그랑지안 형태로 풀면 일반화된 고유값 문제 X(D−C)Xᵀ a = λ B a 가 도출된다. 가장 작은 d개의 고유벡터가 최적 변환 행렬 A*를 형성한다. 이 과정은 기존 스펙트럴 방법들과 동일한 형태이므로, 기존 알고리즘을 특수한 경우로 해석할 수 있다. C_ℓ와 B의 구체적 설계는 기존 방법들을 재현한다. - DNE: C_ℓ = C_I − C_E, B = I. 여기서 C_I는 같은 클래스 내 k‑최근접 이웃을, C_E는 다른 클래스 이웃을 나타낸다. - MFA: B = X(D_I−C_I)Xᵀ, C_ℓ = −C_E. - LFDA: 클래스별 가중치를 반영한 C_bet와 C_wit을 정의하고, B = X(D_wit−C_wit)Xᵀ 로 설정한다. 비라벨 비용 C_u는 주로 열핵(heat kernel) 기반 가우시안 유사도 exp(−‖x_i−x_j‖²/σ²) 로 정의된다. 이는 라플라시안 기반 차원축소(LPP 등)와 동일한 효과를 제공한다. 저자는 여기서 Hadamard 거듭제곱 연산자를 도입해 C_u를 Q = C_u^{⊙α} (α는 양의 정수) 로 변형한다. 이 연산은 가까운 이웃일수록 비용을 크게 강조하고, 멀리 떨어진 이웃은 억제함으로써, 비라벨 정보의 활용 효율을 크게 높인다. 실험 결과, Hadamard 파워 연산을 적용한 모델이 기존 LPP 기반 모델보다 분류 정확도가 현저히 개선되었다. 비선형 확장을 위해 “KPCA 트릭”을 제시한다. 기존 커널 트릭은 알고리즘 자체를 커널 형태로 재작성해야 하는 번거로움이 있었지만, KPCA 트릭은 먼저 입력 데이터를 커널 주성분 분석(KPCA)으로 사전 변환하고, 변환된 선형 좌표에 동일한 프레임워크를 적용한다. 이렇게 하면 복잡한 비선형 매니폴드도 선형 스펙트럴 최적화로 처리할 수 있다. 실험에서는 MNIST, USPS, COIL‑20 등 이미지 데이터와 20 Newsgroups 등 텍스트 데이터에 대해 라벨 비율을 1%~10% 수준으로 낮춘 상황에서 평가하였다. 제안 프레임워크는 특히 라벨이 매우 적은 경우에도 높은 정확도를 유지했으며, Hadamard 파워 연산과 KPCA 트릭을 결합한 변형이 가장 좋은 성능을 보였다. 또한, 기존 FDA, DNE, MFA, LFDA와 같은 감독 학습 방법들을 동일한 파이프라인에서 재현함으로써, 각 방법의 장단점을 명확히 비교할 수 있었다. 결론적으로, 이 논문은 라벨과 비라벨 정보를 통합하는 일반적인 스펙트럴 차원축소 모델을 제시하고, 비용 행렬 설계, Hadamard 파워 연산, KPCA 트릭이라는 세 가지 핵심 기법을 통해 기존 방법들을 확장·개선한다. 이는 반지도 학습 환경에서 차원축소와 분류 성능을 동시에 향상시키는 강력한 도구로 활용될 수 있다.