k‑NN 분류기의 보편적 일관성과 나가타 차원, 강한 Lebesgue‑Besicovitch 구분성의 삼위일체

초록

본 논문은 완비·분리 가능한 거리 공간 X에서 k‑NN 분류기가 보편적으로 일관적이기 위한 정확한 조건을 제시한다. 이는 (1) k‑NN의 보편적 일관성, (2) 모든 국소 유한 Borel 측도에 대한 강한 Lebesgue‑Besicovitch 미분 특성, (3) Nagata가 정의한 σ‑유한 차원성이라는 세 가지 성질이 서로 동치임을 증명한다. 또한 약한 미분 특성만으로는 충분하지 않으며, Heisenberg 군과 실수선에 대한 특수 메트릭이 반례임을 보인다. 마지막으로 1‑NN의 오류가 Bayes 오류의 두 배 이하가 되는 Cover‑Hart 성질도 동등 조건에 포함한다.

상세 분석

이 연구는 통계학적 학습 이론과 거리 공간 위의 실해석, 그리고 위상수학적 차원 이론을 한데 모은 획기적인 결과를 제공한다. 기존 문헌에서 (2)⇒(1)과 (3)⇔(2) 방향은 각각 Cérou‑Guyader(2006)와 Preiss(1983)·Assouad‑de Gromard(2006)에 의해 입증되었으나, (1)⇒(3) 즉 “k‑NN이 보편적으로 일관적인 경우 반드시 σ‑유한 Nagata 차원을 가져야 한다”는 역방향이 남아 있었다. 저자는 이를 완전·분리 가능한 메트릭 공간 Ω가 σ‑유한 차원이 아니면, 특정 Borel 측도 μ와 회귀 함수 η∈{0,1}를 구성해 k_n→∞, k_n/n→0인 시퀀스에 대해 k‑NN의 오류가 Bayes 오류(0)로 수렴하지 않음을 보인다. 이 구성은 Preiss가 ℓ²에서 만든 측도와 유사하지만, 일반적인 비σ‑유한 공간으로 일반화하였다.

핵심 아이디어는 Nagata 차원의 정의를 이용해 “볼의 겹침 복잡도”를 제어하고, 이를 통해 강한 Lebesgue‑Besicovitch 구분성(즉, μ‑거의 모든 점에서 평균값이 함수값으로 수렴)을 보장한다는 점이다. σ‑유한 차원이 없으면 이러한 제어가 불가능해 평균값이 수렴하지 않는 점이 존재하게 되고, 이는 k‑NN이 훈련 샘플의 국소 평균을 이용해 라벨을 예측하는 메커니즘과 직접 연결된다. 따라서 강한 구분성은 k‑NN 일관성의 필요충분조건이 된다.

또한 저자는 약한 구분성(μ‑측도에서 수렴)만으로는 충분하지 않음을 Heisenberg 군을 예로 들어 명확히 보여준다. Heisenberg 군은 Carnot‑Cygan‑Korányi 메트릭 아래에서 약한 Lebesgue‑Besicovitch 특성을 만족하지만, Nagata 차원은 σ‑유한이 아니므로 k‑NN은 일관성을 잃는다. 이는 이전 연구(Kumari‑Pestov 2024)의 잘못된 주장에 대한 정정이다.

흥미롭게도 실수선 ℝ에 대해 기존 거리와 균등하게 동등한(즉, 상수배로 서로 제한되는) 메트릭을 정의하면, 그 메트릭에서는 k‑NN이 일관성을 잃는다. 이는 “거리 자체가 일관성에 결정적”이라는 직관에 반하는 결과이며, 메트릭 선택이 학습 알고리즘의 이론적 보장에 얼마나 민감한지를 강조한다.

마지막으로 1‑NN에 대한 Cover‑Hart 성질(오류 ≤ 2·Bayes 오류)도 위의 세 조건과 동등함을 증명한다. 이는 기존 유클리드 공간에서 알려진 결과를 일반 메트릭 공간으로 확장한 것으로, σ‑유한 Nagata 차원을 갖는 공간에서는 1‑NN이 항상 Bayes 오류의 두 배 이하로 수렴한다는 강력한 보장을 제공한다.

전체적으로 이 논문은 k‑NN 일관성 문제를 “측도론적 구분성 ↔ 위상수학적 차원 ↔ 학습 이론”이라는 삼위일체로 정리함으로써, 비유클리드 공간에서의 최근접 이웃 방법의 적용 가능성을 명확히 구분한다.