확률분포를 구분하는 RKHS 임베딩과 특성 커널

초록

본 논문은 확률측도(Probability Measure)를 재생 커널 힐베르트 공간(RKHS)으로 임베딩하는 방법을 제시하고, 임베딩 간 거리 γₖ 를 통해 확률분포 사이의 유사성을 측정한다. 핵심은 γₖ 가 진정한 거리(metric)가 되기 위한 특성 커널(characteristic kernel) 의 조건을 명확히 제시하는 것이다. 저자는 (1) 유계·연속·엄격 양정(positive definite) 커널이면 특성임을 보이고, (2) ℝᵈ에서 평행이동 불변 커널은 Fourier 변환의 지원(support)이 전체 ℝᵈ일 때만 특성임을 증명한다. 또한 서로 다른 분포가 γₖ 상에서 임의로 가깝게 될 수 있음을 보이며, γₖ 가 약한 위상(weak topology)을 완전히 메트리제이션(metrize)하는 조건도 제시한다.

상세 분석

논문은 먼저 확률측도 μ를 RKHS ℋₖ 에 있는 평균 요소 μₖ =∫k(·,x)dμ(x) 로 매핑하는 임베딩을 정의한다. 이때 두 측도 μ,ν 사이의 거리 γₖ(μ,ν)=‖μₖ−νₖ‖ₕₖ 로 정의되는 의사거리(pseudometric)는 커널 k에 따라 달라진다. 핵심 질문은 “어떤 k에 대해 γₖ가 실제 거리, 즉 γₖ(μ,ν)=0 ⇔ μ=ν 를 만족하는가?”이다. 이를 ‘특성 커널’이라 부르며, 기존 연구는 컴팩트한 도메인이나 특수한 가우시안 커널 등에 한정된 충분조건만 제시했다. 저자는 두 가지 직관적인 충분조건을 제시한다. 첫째, k가 유계·연속·엄격 양정(positive definite) 하면 자동으로 특성이다. 엄격 양정은 모든 비자명한 가중치 집합 {α_i}에 대해 Σ_i,j α_iα_j k(x_i,x_j) > 0 이 성립함을 의미한다. 이는 평균 요소가 서로 다른 측도에 대해 서로 다른 점을 차지하게 만든다. 둘째, ℝᵈ 위에서 평행이동 불변(translation‑invariant) 커널 k(x,y)=ψ(x−y) 를 고려하면, ψ의 Fourier 변환 ˆψ가 전체 ℝᵈ를 지원(supp ˆψ=ℝᵈ)할 때만 특성이 된다. 이는 Bochner 정리를 이용해 k가 모든 주파수 성분을 포함하면, 두 확률밀도 함수의 차가 Fourier 변환에서 0이 되지 않으므로 평균 요소가 구별된다. 반대로 지원이 제한된 경우, 예를 들어 밴드패스 커널은 고주파 성분을 차단하므로 서로 다른 분포가 동일한 평균 요소를 가질 수 있다.

다음으로 저자는 γₖ가 완전한 거리는 아니지만 서로 다른 μ,ν가 γₖ 거리상에서 임의로 가깝게 만들 수 있음을 보인다. 구체적으로, 특성 커널이라도 고차원에서 “좁은” 함수 공간에 제한되면, 두 분포가 동일한 저차원 사영을 공유하면서 차이가 고주파 성분에만 존재하게 된다. 따라서 γₖ(μ_n,ν_n)→0 이면서 μ_n≠ν_n 인 수열을 구성할 수 있다. 이는 γₖ가 강한 위상(예: 총변동 거리)보다 약하다는 것을 의미한다.

마지막으로 논문은 γₖ가 약한 위상(weak topology)을 메트리제이션 하는 조건을 탐구한다. 일반적인 확률측도 공간에서 약한 수렴은 모든 연속·유계 함수에 대한 적분값이 수렴하는 것을 의미한다. 저자는 k가 통합가능한(Integrable) 동시에 특성이며, 또한 k가 분리가능(separating) 하고 제한된 연속성(bounded continuity) 을 만족하면, γₖ는 약한 위상과 동형인 메트릭을 제공한다. 특히, 가우시안 커널 k(x,y)=exp(−‖x−y‖²/(2σ²)) 은 이러한 조건을 모두 만족하므로, γₖ는 확률측도 공간을 완전하고 거리화된 위상구조로 만든다.

이러한 결과는 커널 선택이 통계적 검정, 차원 축소, 독립성 검정 등에 미치는 영향을 명확히 해준다. 특성 커널을 사용하면 임베딩이 일대일 대응을 보장하므로, MMD(Maximum Mean Discrepancy)와 같은 검정 통계량이 영가설을 정확히 구별한다. 반면, 특성이 아닌 커널은 위조된 영가설을 초래할 위험이 있다. 또한, γₖ가 약한 위상을 메트리제이션한다는 사실은 샘플 복원, 확률적 최적화, 베이지안 추정 등에서 수렴성을 보장하는 이론적 기반을 제공한다.