양방향 데이터 압축: 샘플 수와 차원 모두를 줄이는 새로운 프레임워크

초록

본 논문은 데이터의 샘플 수와 차원을 동시에 축소하는 양방향 분포 압축(Bilateral Distribution Compression, BDC) 방법을 제안한다. 두 단계로 구성된 BDC는 먼저 복원 MMD(RMMD)를 최소화해 저차원 잠재 공간을 학습하고, 이어서 잠재 공간에서 압축된 샘플 집합을 인코드 MMD(EMMD)로 최적화한다. 이 과정을 통해 디코드 MMD(DMMD)를 이론적으로 최소화함을 보이며, 실험적으로 기존의 고차원 압축 기법보다 비용 효율적이고 압축 비율이 높음을 입증한다.

상세 분석

논문은 “양방향 분포 압축(BDC)”이라는 새로운 프레임워크를 도입하여, 대규모 데이터셋이 흔히 직면하는 두 가지 차원을 동시에 다룬다: 샘플 수 (n) 과 특성 차원 (d). 기존의 분포 압축 기법은 주로 MMD를 이용해 샘플 수만을 줄이는 데 초점을 맞추었으며, 차원 축소는 PCA, t‑SNE, UMAP 등 별도의 방법에 의존했다. BDC는 이를 통합해, 압축된 샘플 집합 (C={z_j}{j=1}^m\subset\mathbb{R}^p) ((m\ll n,;p\ll d))이 원본 데이터 (D={x_i}{i=1}^n\subset\mathbb{R}^d) 의 분포를 유지하도록 설계한다. 핵심은 새롭게 정의한 Decoded MMD(DMMD) 로, 디코더 (\phi:\mathbb{R}^p\rightarrow\mathbb{R}^d) 를 통해 복원된 압축 샘플 (\phi(z_j))와 원본 데이터 간의 MMD를 측정한다. DMMD를 직접 최소화하는 것은 디코더와 압축 집합이 서로 얽혀 비선형 최적화 문제가 되므로, 저자는 두 단계 접근법을 제안한다.

첫 번째 단계는 Reconstruction MMD(RMMD) 를 사용해 자동인코더 (\phi\circ\psi) (인코더 (\psi:\mathbb{R}^d\rightarrow\mathbb{R}^p), 디코더 (\phi))를 학습한다. RMMD는 재구성된 데이터 (\tilde{x}_i=\phi(\psi(x_i)))와 원본 (x_i) 사이의 MMD를 최소화함으로써, 단순히 평균 제곱 오차(MSRE)를 최소화하는 PCA와 달리 전체 분포(고차 모멘트 포함)를 보존한다. 특히, 이론적 결과(정리 3.1)는 2차 다항 커널 (k(x,y)=(1+x^\top y)^2) 하에서 RMMD 최소화가 PCA와 동일한 고유벡터를 찾는다는 것을 보여준다. 즉, RMMD는 PCA의 차원 축소 효과를 유지하면서 MMD 기반의 분포 보존을 추가한다.

두 번째 단계에서는 Encoded MMD(EMMD) 를 정의해, 잠재 공간에서 압축된 집합 (C)와 인코딩된 전체 데이터 (\psi(D)) 사이의 MMD를 최소화한다. EMMD는 잠재 공간의 커널 (h) (보통 Gaussian) 를 사용해 분포 차이를 측정한다. 최적화는 압축된 점들의 좌표를 직접 업데이트하는 형태이며, Wasserstein gradient flow와 유사한 전역 수렴 보장을 가진다(특정 볼록성 가정 하).

이 두 단계가 성공적으로 수행되면, 정리 3.3에 의해 RMMD와 EMMD가 각각 0에 수렴할 때 DMMD도 0이 된다. 더 일반적인 경우 정리 3.5는 DMMD ≤ RMMD + EMMD 라는 상한을 제공한다. 따라서 BDC는 DMMD를 직접 최적화하지 않더라도 두 단계 최적화만으로 충분히 분포 보존을 보장한다.

선형 자동인코더와 비선형(신경망) 자동인코더 모두에 대해 정규화 전략을 제시한다. 선형 경우는 직교성 제약을 Stiefel manifold 위에서 최적화해 과도한 표현력을 억제한다. 비선형 경우는 네트워크 깊이·폭 제한, 가중치 공유, 디코더 용량 제한 등으로 과적합을 방지한다. 특히, RMMD는 특성 커널을 사용하면 전체 분포 차이를 민감하게 감지하므로, 단순히 입력‑출력 일치만을 강요하는 MSRE보다 더 강력한 정규화 효과를 제공한다.

시간·메모리 복잡도는 O(nd) 로, 데이터 크기와 차원 모두에 선형적으로 확장된다. 실험에서는 이미지( CIFAR‑10, ImageNet‑subsample), 텍스트(AGNews), 그리고 고차원 시뮬레이션 데이터에 대해 BDC가 기존의 커널 헤딩, 커널 씬닝, M3D 등과 비교해 동일하거나 더 나은 다운스트림 성능(분류 정확도, 회귀 R² 등)을 보이며, 압축 비율은 10배~100배까지 크게 향상됨을 보고한다.

요약하면, BDC는 DMMD 라는 새로운 분포 차이 측정 지표와 RMMD/EMMD 라는 두 단계 최적화 전략을 통해, 샘플 수와 차원을 동시에 효율적으로 줄이면서도 원본 데이터의 통계적 특성을 충실히 보존한다는 이론적·실험적 근거를 제공한다. 이는 대규모 모델 학습에서 데이터 저장·전송 비용을 크게 절감하고, 환경적·경제적 부담을 완화하는 실용적 가치를 가진다.