거리 정렬 기반 자동인코더의 새로운 차원 축소 기법

본 논문은 자동인코더(Autoencoder)의 잠재공간이 원본 데이터의 전역 기하·위상 구조를 보존하도록 설계된 새로운 정규화 기법인 Manifold‑Matching(이하 MM‑reg)을 제안한다. 기존 자동인코더는 재구성 손실만 최소화하기 때문에, 입력 공간에서 가까운 샘플이 잠재공간에서 멀리 떨어지는 현상이 발생할 수 있다. 이는 디코더가 복원하기 어려운 불연속성을 만들고, 이상 탐지·시각화·생성 모델 등 downstream 작업에 악영향을 미친다. MM‑reg은 배치 단위에서 입력 데이터 혹은 사전 처리된 임베딩 E 의 쌍별 거리 행렬 D^E와 잠재공간 Z 의 거리 행렬 D^Z 을 계산하고, 두 행렬 사이의 평균 제곱 오차를 최소화한다. 수식으로는 R_MM = (1/n²) ∑_{i,j}(‖z_i‑z_j‖₂ − ‖e_i‑e_j‖₂)², L_MMAE = L_recon + λ·R_MM. 여기서 λ 는 재구성 손실과 거리 정렬 손실 사이의 트레이드‑오프를 조절한다. 이 접근법의 이론적 근거는 두 가지 핵심 정리에서 비롯된다. 첫째, 거리 보존이 그로모프‑하우스도르프 거리 d_GH를 제한하고, d_GH가 작을 경우 지속 가능성 다이어그램 사이의 병목 거리 d_B가 2·ε 이하가 된다는 안정성 정리(Cohen‑Steiner et al., 2007)를 이용해 “거리 보존 ⇒ 위상 보존”을 증명한다. 둘째, 배치 수준에서 거리 행렬을 맞추는 것이 전체 데이터셋에 대한 위상 근사와 동일한 확률적 보장을 제공한다는 TopoAE 논문의 결과를 인용한다. 따라서 R_MM 은 복잡한 지속 가능성 계산 없이도 전역 위상 구조를 유지한다는 장점을 가진다. MM‑reg의 큰 장점은 기준 공간 E 를 자유롭게 선택할 수 있다는 점이다. 원본 고차원 데이터 X 를 그대로 사용하거나, PCA, UMAP, t‑SNE 등 사전 학습된 저차원 임베딩을 사용한다. 고차원 데이터에서 거리 집중 현상으로 인해 원본 거리의 신뢰도가 낮아질 때, 차원을 먼저 축소한 E 를 사용하면 보다 의미 있는 거리 정보를 제공한다. 또한, E 의 차원 k 와 잠재 차원 d 가 서로 다를 경우에도 배치당 b×b 거리 행렬만 필요하므로 메모리 요구량이 크게 증가하지 않는다. 실험은 5개의 합성 데이터셋(중첩 구, 연결 토러스, 동심 구, 3D 매머드, 3D 지구)과 4개의 실세계 데이터셋(MNIST, Fashion‑MNIST, CIFAR‑10, PBMC3k)를 대상으로 수행되었다. 평가 지표는 (1) DC↑ (근접 이웃 거리 보존), (2) TA↑ (전체 토폴로지 보존), (3) KL 0.1 이하에서의 재구성 오차를 최소화한 λ값을 기준으로 한 스코어이다. 합성 데이터에서 MMAE는 기존 토포AE, RTD‑AE, GeomAE, GGAE, SP‑AE보다 일관되게 높은 DC와 TA를 기록했다. 특히 중첩 구와 연결 토러스와 같이 전역 위상 구조가 중요한 경우, MMAE는 잠재공간이 원본의 계층·연결 관계를 정확히 재현했다. 시각화 결과에서도 2D 잠재공간에 PCA 2D 임베딩을 기준으로 사용했을 때, UMAP·t‑SNE와 거의 동일한 배치를 “복사”하는 현상이 관찰되어, 기존 비선형 차원 축소 방법을 대체하거나 보완할 수 있음을 보여준다. 실세계 데이터에서는 MNIST·Fashion‑MNIST·CIFAR‑10에 대해 MMAE가 재구성 품질을 크게 손상시키지 않으면서도, 클래스 간 거리 구조를 보존해 시각적 클러스터링이 명확해졌다. PBMC3k와 같은 고차원 생물학적 데이터에서도 PCA 50 차원 임베딩을 기준으로 사용했을 때, 세포 유형 간 위상 관계가 유지되었으며, 기존 방법보다 낮은 KL 손실을 달성했다. 복잡도 측면에서 MMAE는 배치당 O(b²) 의 거리 계산만 필요하므로, 전통적인 MDS가 요구하는 O(n²) 메모리와 비교해 훨씬 스케일러블하다. 논문에서는 배치 크기 b = 256 정도로 설정했으며, GPU 메모리 사용량이 1~2 GB 수준에 머물렀다. 따라서 대규모 데이터셋에서도 실시간 학습이 가능하다. 한계점으로는 (1) 배치 크기가 작을 경우 거리 행렬이 전체 데이터의 구조를 충분히 대표하지 못해 위상 근사가 부정확해질 수 있다. (2) λ 값 선택이 민감하여, 과도한 λ는 재구성 손실을 크게 증가시킨다. (3) 유클리드 거리 기반 정규화는 비유클리드 거리(예: 지오데식 거리)나 복잡한 비선형 매니폴드에 대해 완전한 보장을 제공하지 않는다. 향후 연구에서는 배치 샘플링 전략을 개선하고, 커스텀 거리 메트릭이나 그래프 기반 거리 행렬을 도입해 복잡한 매니폴드에 대한 적용성을 높이는 방안을 제시한다. 결론적으로, Manifold‑Matching Autoencoder는 거리 정렬을 통한 전역 기하·위상 보존을 효율적으로 구현함으로써, 기존 토폴로지 기반 자동인코더와 비선형 차원 축소 기법보다 뛰어난 시각화·분석 성능을 제공한다. 또한, MDS를 대규모 데이터에 대해 메모리·시간 효율적으로 근사할 수 있는 실용적인 대안으로 자리매김한다.