신경망 기반 고차 상호작용 탐지를 위한 NNMR 프레임워크

초록

NNMR은 입력 게이팅과 적응형 깊이 정규화를 결합한 심층 신경망 모델로, 변수 선택과 비선형 함수 추정을 동시에 수행한다. L1 게이팅 패널티와 층별 정체성 패널티를 통해 불필요한 변수와 중복 레이어를 자동으로 제거하고, 데이터 분할·퍼뮤테이션 기반 사후 검정으로 선택된 변수에 대한 통계적 유의성을 검증한다. 시뮬레이션과 멕시코 청소년 성장 데이터 분석에서 기존 BKMR·SHAP 대비 높은 선택 정확도와 타입Ⅰ 오류 제어를 보인다.

상세 분석

본 논문은 고차원 데이터에서 비선형 상호작용을 포착하면서도 해석 가능성을 유지하는 새로운 딥러닝 프레임워크인 NNMR(Neural Network Machine Regression)을 제안한다. 핵심 아이디어는 입력 레이어에 학습 가능한 게이팅 벡터 α를 도입하고, 이를 L1 정규화(λ₁‖α‖₁)와 결합함으로써 변수 선택을 모델 학습 과정에 직접 통합하는 것이다. α_j가 0에 수렴하면 해당 변수는 모델에서 완전히 제외되며, 이는 전통적인 사전 전처리 기반 스크리닝과 달리 데이터에 기반한 동적 선택을 가능하게 한다.

또한, 깊이 정규화(DP) 항을 추가하여 각 은닉 레이어의 가중치 행렬 Wₗ이 항등 행렬 I에 가까워지도록 유도한다. 정규화 항 λ₂∑ₗ(‖Wₗ−I‖₁+|cₗ|)는 불필요한 레이어를 자동으로 식별하고, 학습 종료 후 해당 레이어를 항등 매핑으로 교체함으로써 네트워크의 폭과 깊이를 데이터에 맞게 축소한다. 이는 모델 복잡도와 계산 비용을 크게 낮추면서도 ReLU 기반 깊은 네트워크가 제공하는 표현력을 유지한다.

학습 목표 함수는 다음과 같다.
\