조건부 딥 생성 모델을 이용한 분포 회귀의 가능성 기반 접근

초록

본 논문은 고차원 공간에 존재하지만 저차원 매니폴드에 집중되는 응답 변수의 조건부 분포를 추정하기 위해, 조건부 딥 생성 모델을 활용한 가능도 기반 추정법을 제안한다. 대규모 샘플에서의 시브 최대 가능도 추정기의 수렴 속도를 헤일링거 및 와서스테인 거리 기준으로 분석하고, 수렴 속도가 오직 매니폴드의 내재 차원과 매끄러움에만 의존함을 보인다. 또한, 매니폴드에 가까운 데이터에 작은 잡음을 추가하는 것이 이론적·실험적으로 유리함을 강조한다.

상세 분석

이 연구는 “분포 회귀(distribution regression)”라는 프레임 안에서, 응답 Y가 고차원 공간 ℝ^D에 존재하지만 실제는 차원 d≤D인 매니폴드 M에 거의 집중된 상황을 모델링한다. 저자는 Y|X를 Y=V|X+ε 로 표현하고, V|X는 매니폴드 위에 정의된 잠재 변수이며 ε∼N(0,σ²I_D) 로 전역 잡음을 가정한다. 핵심 아이디어는 조건부 딥 생성 모델 G*(Z,X) 를 통해 V|X 를 직접 모사하고, 이후 ε와의 합성(convolution)으로 관측 Y를 생성한다는 점이다. 여기서 Z는 사전 정의된 저차원 잠재 분포(P_Z)이며, G*는 깊은 신경망으로 파라미터화된다.

가능도 기반 접근법은 전체 조건부 밀도 p*(y|x)=∫ϕ_σ(y−G*(z,x))dP_Z(z) 를 직접 최대화하는 시브 MLE(sieve maximum likelihood estimator)를 설계한다. 시브는 함수 클래스 F와 잡음 파라미터 σ의 구간을 제한함으로써 무한 차원의 파라미터 공간을 점근적으로 근사한다. 논문은 먼저 함수 클래스 F에 대한 복합 구조(composite structure)를 정의한다. 이는 다층 신경망이 각 층마다 제한된 변수(t_j)와 Hölder 매끄러움(β_j)을 갖는 함수들의 합성으로 표현될 수 있음을 의미한다. 이 구조는 기존의 스파스·완전 연결 네트워크 모두를 포괄하며, 내재 차원 t와 매끄러움 β를 통해 효율적인 근사성을 보장한다.

정리된 가정 하에, 저자는 엔트로피(covering/ bracketing entropy)와 편향(bias) 사이의 균형을 정량화한다. Lemma 1은 함수 클래스 F의 ∞-노름 커버링 엔트로피가 전체 조건부 분포 클래스 P의 헤일링거 브래킷 엔트로피를 지배한다는 관계를 제시한다. 이를 바탕으로 Theorem 1은 시브 MLE가 헤일링거 거리 d_H(b̂p,p*) ≤ ε_n 에서 확률적으로 1−O(exp(−C₁nε_n²)+C₂n⁻¹) 로 수렴함을 증명한다. 여기서 ε_n은 (log N(δ,F))/n 와 근사 오차 δ_approx 의 조합으로 정의되며, 최적 선택 시 ε_n = O(n^{-β*/(2β*+t*)}) 와 같은 차원·매끄러움 의존 수렴 속도를 얻는다.

특히, 결과는 두 가지 거리 척도에 대해 동일하게 적용된다. 헤일링거 거리 외에도, Wasserstein 거리에 대한 수렴률을 도출하여, 매니폴드 위의 “내재 조건부 분포” Q* (G*(Z,X) 의 분포) 를 복원하는 deconvolution 문제에서도 동일한 차원·매끄러움 의존 속도를 확보한다. 이는 기존 고차원 비조건부 생성 모델이 겪는 차원의 저주를 매니폴드 차원에 의해 회피할 수 있음을 이론적으로 뒷받침한다.

또한, Corollary 2는 매니폴드에 매우 가깝게 위치한 데이터에 대해 작은 잡음 σ_min>0 을 인위적으로 추가하는 것이 식별성(idenfitifiability)과 수렴 속도에 필수적임을 강조한다. 이는 매니폴드 추정문제에서 “노이즈 주입”이 모델의 안정성을 높이고, 실제 구현 시 과적합을 방지하는 실용적인 가이드라인을 제공한다.

실험 부분에서는 합성 데이터와 실제 이미지·시계열 데이터셋을 사용해 제안된 방법을 구현하였다. 실험 결과는 (1) 헤일링거 및 Wasserstein 거리에서 이론적 수렴률에 근접한 성능, (2) 기존 GAN·VAE 기반 조건부 생성 모델 대비 매니폴드 구조를 더 정확히 복원, (3) 잡음 주입이 매니폴드 근접 데이터에 대한 추정 편향을 현저히 감소시키는 것을 확인한다.

전체적으로 이 논문은 조건부 딥 생성 모델을 통계적 가능도 프레임에 정형화함으로써, 고차원 데이터의 내재 저차원 구조를 활용한 비파라메트릭 조건부 밀도 추정의 이론적 근거를 제공한다. 특히, 시브 MLE와 복합 구조 신경망을 결합한 분석은 기존 딥 생성 모델의 경험적 성공을 통계적 수렴률과 연결시키는 중요한 진전이다.