자기해석 가능한 딥 뉴럴 네트워크를 위한 최소 충분 표현

본 논문은 “최소 충분 표현(Minimal Sufficient Representation, MSR)”이라는 개념을 도입하여, 과대파라미터화된 딥 뉴럴 네트워크(DNN)의 핵심 구조를 복원하고 이를 통해 해석 가능성과 통계적 엄밀성을 동시에 달성하고자 한다. 기존 DNN은 수백만 개의 파라미터를 가지고 있지만, 실제 예측에 필요한 자유도는 훨씬 적다. 이러한 과잉 파라미터는 모델을 불안정하게 만들고, 변수와 표현 사이의 관계를 파악하기 어렵게 만든다. 저자들은 이를 해결하기 위해 입력 차원 d와 동일한 크기의 학습 가능한 행렬 B∈ℝ^{d×d}를 도입하고, 모델을 Y∼g(BX) 형태로 재구성한다. 여기서 g는 일반적인 DNN으로 근사한다. B가 아이덴티티 행렬이면 기존 DNN과 완전히 동일한 표현력을 가지므로, B를 통해 표현 차원을 자유롭게 조절하면서도 모델의 전체 표현력을 손실 없이 유지할 수 있다. B의 행·열에 대해 그룹 라소(Group LASSO) 페널티를 동시에 적용한다. 행 라소는 B의 영 행을 제거해 “표현 차원”을 자동으로 축소하고, 열 라소는 영 열을 제거해 입력 변수 선택을 수행한다. 즉, B의 비영 행은 실제로 사용되는 저차원 표현을, 비영 열은 모델에 기여하는 변수 집합을 나타낸다. 이 과정에서 최소 충분 표현 차원 d̂와 중요한 변수 수 ŝ를 동시에 추정한다. 또한, 학습된 d̂에 맞추어 DNN g의 구조적 복잡도(파라미터 수)를 조절하는 추가적인 아키텍처 페널티 ρ₃(·)를 도입한다. 이는 네트워크가 불필요하게 큰 용량을 갖는 것을 방지하고, 통계적 오류(편향·분산)와 근사 오류 사이의 균형을 최적화한다. 이론적으로는 비점근적 오류 상한이 O((n/ log n)^{-2β/(d̂+2β)}) 형태로 d̂에 적응한다는 결과를 도출한다. 여기서 β는 목표 함수 g가 속한 Hölder 클래스의 매끄러움 지수를 의미한다. 논문은 네 가지 주요 이론적 기여를 제시한다. 첫째, 최소 충분 표현 차원(MRD)을 정의하고, 제안된 추정량이 선택 일관성(selection consistency)을 만족함을 정리 1을 통해 증명한다. 즉, 표본 크기 n이 커짐에 따라 추정된 (d̂, ŝ, |θ̂|)가 실제 최소 차원(d₀, s₀, |θ₀|)과 일치한다. 둘째, 비점근적 오류 상한을 도출해, 학습된 차원이 작을수록 일반화 오차가 급격히 감소함을 보인다. 셋째, B와 θ에 대한 점근적 정규성을 확보해, 변수·표현에 대한 가설 검정 절차를 정식 통계 검정으로 확장한다. 정리 3·5에서는 각각 변수 선택과 표현 선택에 대한 검정 통계량의 유효성을 보이며, 명목 유의 수준을 유지하면서 높은 검정력을 달성한다. 넷째, 최소 파라미터 수 T₀ = S_{net,0} + d₀ s₀ 를 정의하고, 이를 달성하는 네트워크 구조가 존재함을 보인다. 실험 부분에서는 네 개의 실제 데이터셋을 사용한다. ADNI(알츠하이머 병 진단을 위한 뇌 영상·임상 데이터), BlogFeedback(텍스트 기반 소셜 피드백), MNIST(손글씨 이미지), FashionMNIST(패션 아이템 이미지)이다. 비교 대상은 최신 자기해석 모델인 DFS, LassoNet, GCRNet 등이다. DeepIn은 ADNI에서 평균 30.26%의 예측 오차 감소, BlogFeedback에서 19.65% 감소를 기록했으며, MNIST·FashionMNIST에서는 정확도 향상과 동시에 시각적으로 의미 있는 패턴을 자동으로 강조했다. 예를 들어, 손글씨 인식에서는 특정 획이, 패션 이미지에서는 옷의 주요 부위가 강조되어 인간이 직관적으로 이해할 수 있는 설명을 제공한다. 가설 검정 실험에서는 중요한 변수와 표현을 거의 완벽하게 구분해내어, 유의 수준을 초과하지 않으면서도 0.8 이상의 검정력을 보였다. 이는 의료·정책·금융 등에서 변수의 통계적 유의성을 공식적으로 입증해야 하는 분야에 큰 의미를 가진다. 전체적으로 DeepIn은 (1) 최소 충분 표현 차원을 자동 탐지, (2) 변수·표현 선택을 동시에 수행, (3) 네트워크 구조를 차원에 맞게 적응, (4) 통계적 가설 검정을 제공함으로써, 기존 자기해석 DNN이 겪던 정확도·유연성·통계적 엄밀성 간의 트레이드오프를 근본적으로 해소한다. 이 접근법은 고차원 데이터에서 해석 가능한 모델을 구축하려는 연구자와 실무자에게 강력한 도구가 될 것으로 기대된다.