위상 최적화를 통한 무감독 커널 밀도 추정 대역폭 선택

초록

**
본 논문은 커널 밀도 추정(KDE)에서 핵심 하이퍼파라미터인 대역폭을 자동으로 선택하기 위해 지속적 동형학(persistent homology)을 이용한 위상 기반 손실 함수를 제안한다. 베타 수와 전체 지속성(total persistence)을 부드러운 서프시드 함수와 합산하여 정의한 손실을 최소화함으로써, 과도한 평활화와 과적합 사이의 균형을 위상 구조 관점에서 조절한다. SGD 기반 자동 미분으로 최적화하고, 1‑4 차원 합성 데이터와 MNIST 이미지에 대해 기존의 규칙‑오브‑썸, 교차검증, 플러그인 방법들과 비교 실험을 수행해 경쟁력 있는 성능을 입증한다.

**

상세 분석

**
이 연구는 KDE의 대역폭 선택 문제를 기존의 평균제곱오차(MISE) 중심 접근법에서 완전히 탈피하여, 추정 밀도 함수의 위상 구조를 직접 최적화 목표에 포함시킨다. 저자들은 먼저 커널 밀도 추정값 ˆf_h에 대해 초수준(super‑level) 필터링을 적용하고, cubical complex를 이용해 지속성 다이어그램(PD)을 계산한다. 여기서 베타 수 β₀, β₁,…는 연결성, 루프, 구멍 등 다양한 차원의 위상 특징을 정량화한다. 베타 수는 이산적이라 미분이 불가능하므로, 각 지속성(l_i)에 시그모이드 σ(l_i)=1/(1+e^{−l_i})를 적용해 연속적인 “feature count”를 정의한다. 동시에 전체 지속성 TP(h)=∑_i l_i를 구해 과도한 복잡성을 정량화한다. 최종 손실 L(h)=count(h)−TP(h) (α_count=α_TP=1) 은 간단한 구조(작은 베타 수)와 풍부한 구조(큰 총 지속성) 사이의 트레이드오프를 자동으로 조절한다.

최적화 측면에서 저자들은 지속성 다이어그램이 대역폭 h에 대해 일정 구간에서는 거의 변하지 않는 “plateau” 현상을 보인다는 점을 이용한다. 이때 SGD와 자동 미분을 사용해 손실의 미세 변화를 탐색함으로써, 평탄한 구간 내에서도 최적의 h를 찾아낸다. 실험에서는 1‑4 차원 합성 데이터와 MNIST 이미지에 대해 12가지 기존 대역폭 선택 기법(Scott, Silverman, NRR, ML‑CV, LSCV, BCV, ISJ, BotevProj, PluginDiag 등)과 비교하였다. 결과는 Kullback‑Leibler Divergence(KLD)와 Earth Mover’s Distance(EMD) 두 지표 모두에서 제안 방법이 평균적으로 낮은 값을 기록했으며, 특히 변동성이 큰 교차검증 기반 방법보다 안정적인 성능을 보였다.

이 논문의 주요 강점은 (1) 위상 정보를 직접 손실에 반영함으로써 구조적 왜곡을 최소화한다는 점, (2) 서프시드 함수를 이용해 미분 가능하게 만든 점, (3) 별도의 유의수준 설정이나 부트스트랩 없이 완전 무감독 방식으로 구현한다는 점이다. 반면, 현재는 Gaussian 커널에 국한된 구현과, 고차원(>4D)에서의 계산 비용이 아직 충분히 검증되지 않았다는 제한점이 있다. 또한, 손실 함수의 α 파라미터를 1로 고정했지만, 데이터 특성에 따라 가중치를 조정할 여지가 남아 있다. 향후 연구에서는 다양한 커널 형태, 고차원 데이터에 대한 효율적인 cubical 복합체 구축, 그리고 베타 수와 총 지속성 외에 다른 위상 요인(예: 지속성 분포의 모멘트)까지 확장하는 것이 기대된다.

**