비선형 해석 가능한 모델 NIMO

초록

NIMO는 전통적인 선형 회귀의 직관성을 유지하면서, 각 특성별로 신경망이 제공하는 비선형 보정값을 곱해 모델의 표현력을 크게 확장한다. 파라미터 제거 기법을 이용해 선형 계수를 신경망 파라미터의 함수로 닫힌 형태로 풀어낸 뒤, 적응형 릿지 회귀를 통해 스파시티를 자연스럽게 부여한다. 실험 결과, NIMO는 전통적인 선형 모델과 순수 신경망 사이에서 예측 정확도와 해석 가능성 모두를 균형 있게 달성한다.

상세 분석

본 논문은 해석 가능성과 예측 성능 사이의 전통적인 트레이드오프를 근본적으로 재구성한다. 기본 아이디어는 선형 회귀식 y = ∑ x_j β_j 에 각 특성 j 마다 인스턴스‑특정 비선형 보정 h_j(x) = 1 + g_{u_j}(x_{-j}) 를 곱해 y = ∑ x_j β_j h_j(x) 라는 형태로 확장하는 것이다. 여기서 g_{u_j} 는 동일한 파라미터 u 를 공유하는 신경망이며, 입력에서 j‑번째 특성을 마스킹하고 위치 인코딩을 추가해 특성별 보정을 학습한다. 중요한 설계는 g_{u_j}(0)=0 을 강제함으로써, 모든 특성이 평균(표준화 후 0)일 때 모델이 순수 선형 회귀로 축소된다는 점이다. 따라서 전역 해석가능성은 β_j 그 자체가 되며, 이는 “Marginal Effect at the Mean (MEM)”과 일치한다.

학습 측면에서는 β와 u 가 강하게 결합돼 직접 공동 최적화가 어려운데, 저자들은 프로파일 우도 접근법을 차용해 β를 u 에 대한 닫힌 형태 β̂(u) = (B_uᵀ B_u + λI)^{-1} B_uᵀ y 로 제거한다. 이렇게 하면 목적함수는 u 에만 의존하게 되고, 자동 미분을 이용한 경사 하강법으로 효율적으로 최적화할 수 있다. 스파시티를 도입하기 위해 ℓ₂ 대신 ℓ₁ 정규화를 적용하고, ℓ₁이 닫힌 해를 갖지 않음에 따라 적응형 릿지(Adaptive Ridge)를 사용해 단계별로 β̂(u)를 계산한다. 이는 최종적으로 Lasso와 동등한 해를 제공하면서도 최적화가 가능하도록 만든다. 또한 첫 번째 완전 연결 층에 그룹 ℓ₂ 정규화를 적용해 특성 수준의 스파시티를 강화한다.

이 설계는 기존 하이브리드 모델(NAM, LassoNet, IME 등)과 차별화된다. NAM은 각 특성마다 독립적인 네트워크를 두어 상호작용을 포착하지 못하고, LassoNet은 비선형 파트 사용을 선형 계수 존재 여부에 종속시켜 전역 해석을 약화한다. 반면 NIMO는 전역 β_j 를 그대로 유지하면서, 인스턴스‑레벨 보정 h_j(x) 를 통해 복잡한 비선형 관계를 학습한다. 따라서 전역 요약(MEM)과 로컬 설명이 동일한 모델 안에 자연스럽게 공존한다.

실험에서는 합성 데이터(선형 + 비선형 교차 효과)와 실제 의료·재무 데이터셋을 사용해 NIMO가 (1) 정확한 β_j 복원, (2) 높은 예측 정확도, (3) 기존 해석 가능한 모델 대비 더 나은 트레이드오프를 달성함을 입증한다. 특히 스파시티 제어 실험에서 적응형 릿지 기반 Lasso와 비교했을 때, 중요한 특성은 유지하면서 불필요한 특성을 효과적으로 제거한다. 한계점으로는 g_{u_j} 가 j‑특성을 제외한 전체 입력에 의존하기 때문에 고차원·희소 데이터에서 계산 비용이 증가할 수 있다는 점과, MEM이 비선형이 강한 경우 실제 중요도를 완전히 반영하지 못할 가능성이 있다. 그러나 이러한 제약은 모델 구조 자체가 전역·국부 해석을 명시적으로 구분하도록 설계된 점에서 크게 완화된다.

전반적으로 NIMO는 파라미터 제거와 적응형 릿지를 결합한 혁신적인 학습 프레임워크를 제공하며, 선형 회귀의 직관성을 보존하면서도 신경망의 표현력을 활용하는 실용적인 해석 가능한 모델로 평가된다.