딥러닝 기반 특징 선택의 FDR 제어 이론

초록

본 논문은 첫 번째 층이 완전 연결된 모든 딥 신경망(MLP, CNN, RNN, 어텐션 등)에 대해, 입력 민감도(gradient‑based importance)를 이용한 특징 선택 절차가 점근적으로 거짓 발견률(FDR)을 제어한다는 이론적 보장을 제시한다. 다중 인덱스 데이터 생성 모델과 “특징 차원 n이 잠재 차원 q*보다 빠르게 증가한다”는 비대칭 asymptotic 설정 하에, 각 무관한 특징의 중요도 통계가 정규 근사됨을 증명하고, 데이터 스플리팅을 통한 스케일‑프리 추정으로 FDR을 제어한다. 주요 가정은 B‑right orthogonal invariance 설계 행렬이며, 실험을 통해 이론이 실제에도 잘 맞는 것을 확인한다.

상세 분석

이 논문은 기존 고차원 통계와 XAI(Explainable AI) 분야를 연결하는 새로운 프레임워크를 제시한다. 핵심 아이디어는 학습된 신경망의 입력에 대한 기울기 ξ(t) 를 특징 중요도 점수로 사용하고, 이를 데이터 스플리팅 기반의 통계량 M_j 로 변환해 FDR을 제어한다는 것이다.

먼저, 저자들은 다중 인덱스 모델을 정의한다. 관측 (y, X) 가 y_i = g(Bᵀx_i, ε_i) 형태로 생성되며, 여기서 B∈ℝ^{n×q*} 는 잠재 차원을 정의한다. 중요한 가정은 설계 행렬 X 가 B‑right orthogonal invariance(B‑ROI)를 만족한다는 점이다. 이는 XU = X 인 모든 직교 행렬 U (UB = B)에 대해 성립하며, 행별 의존성·중첨도·저‑랭크 구조를 허용하지만 열 간 특정 상관관계는 배제한다.

신경망 구조에 대한 가정은 첫 번째 은닉층이 완전 연결이며, 그 이후의 층은 폭·깊이 제한 없이 MLP, CNN, RNN, 어텐션, residual, dropout 등을 포함한다. 이때 입력은 W₁ᵀx 이라는 선형 변환을 통해 잠재 공간 Bᵀx 를 대체한다는 해석이 가능하다.

학습은 SGD(또는 미니배치 SGD)로 수행되며, 초기 파라미터 W(0) 은 데이터와 독립이고, W₁(0) 은 모든 B‑ROI 직교 변환에 대해 불변이다. 이러한 설정 하에 저자들은 Proposition 1을 증명한다. 즉, P_{⊥B} ξ(t) (즉, B 의 직교 보완 공간에 투영된 기울기) 가 단위 구면 위에서 균등하게 분포한다는 것이다. 이는 반복적인 SGD 업데이트가 orthogonal‑invariance 를 보존한다는 사실에 기반한다.

그 결과, Theorem 1에서 무관한 특징 j∈Sᶜ 에 대해
\