미분기하학적 정규화로 보는 클래스 확률 추정

본 논문은 지도 학습에서 이진 및 다중 클래스 분류 문제를 통합적인 기하학적 관점으로 접근한다. 저자들은 클래스 확률 추정 함수 f:X→Δ^{L‑1}의 그래프를 X와 확률 심플렉스 Δ^{L‑1}의 곱공간에 매니폴드로 보고, 이 매니폴드의 부피를 정규화 항으로 사용한다. 부피가 클 경우 그래프가 급격히 휘어져 과적합을 의미하므로, 부피를 최소화함으로써 “작은 국소 진동”을 억제하고 일반화 능력을 향상시키고자 한다. 목적 함수는 경험 손실 P_Tm(예: 교차 엔트로피)과 부피 정규화 P_G의 가중합 P = P_Tm + λ P_G 로 정의된다. 부피 P_G는 gr(f)의 유도 부피를 Lebesgue 측정으로 적분한 값이며, 3차 미분을 포함하는 Riemann 곡률 대신 1차 미분만을 이용해 계산 가능하도록 설계되었다. 이는 Sobolev 정규화와 차별화되는 점으로, Sobolev 정규화는 고차 미분을 억제하지만 부피와 직접적인 연관성을 보장하지 않는다. 최적화는 무한 차원 함수 공간 M=Maps(X,Δ^{L‑1}) 위에서 그래디언트 흐름 d f_t /dt = –∇P(f_t) 로 수행된다. 여기서 ∇P는 L2 내적을 기반으로 정의된 함수 공간의 기하학적 그래디언트이며, 초기값 f_0는 모든 클래스에 대해 동일 확률을 부여하는 중립 함수이다. 그래디언트 흐름은 손실을 감소시키면서 동시에 매니폴드 부피를 감소시키는 방향으로 f를 업데이트한다. 구현을 위해 저자들은 방사형 기저 함수(RBF) 기반의 스코어 h_j(x)=∑_{i=1}^m a_{ji} ϕ_i(x) 를 정의하고, softmax를 적용해 확률 벡터 f(x) 를 얻는다. ϕ_i(x)=exp(–c‖x–x_i‖²) 로 정의된 RBF는 매끄러운 1차 미분을 제공하므로 부피 정규화 항의 미분이 용이하다. 파라미터 행렬 A∈ℝ^{L×m} 를 최적화하기 위해 목적 함수의 전체 그래디언트를 구하고, 이를 경사 하강법 혹은 L‑BFGS와 같은 최적화 알고리즘에 적용한다. 실험에서는 UCI 레포지토리의 여러 데이터셋, Flickr Material Database, MNIST 등에서 기존 SVM, 로지스틱 회귀, 신경망 기반 L2 정규화, Dropout 등과 비교하였다. 특히 고차원 저샘플 상황에서 부피 정규화가 과적합을 효과적으로 억제해 정확도가 크게 향상되는 것을 확인했다. 다중 클래스 경우에도 별도의 “one‑vs‑all” 전략 없이 직접 확률 추정이 가능함을 보이며, RBF 기반 구현이 기존 방법 대비 경쟁력 있음을 입증한다. 논문의 주요 기여는 다음과 같다. 첫째, 클래스 확률 그래프의 기하학적 평탄성을 정규화 목표로 삼은 새로운 이론적 프레임워크를 제시하였다. 둘째, 무한 차원 함수 공간에서 그래디언트 흐름을 이용한 실용적인 최적화 절차를 설계하였다. 셋째, RBF 기반 구현을 통해 이론을 실제 데이터에 적용했으며, 이진·다중 클래스 모두에서 기존 정규화 기법보다 우수한 성능을 실증하였다. 향후 연구 방향으로는 부피 대신 평균 곡률 최소화, 비선형 기저 함수(예: 딥 뉴럴 네트워크)와의 결합, 그리고 대규모 데이터에 대한 효율적인 근사 알고리즘 개발이 제시된다.