일반화 선형 모델 자동 선택

초록

본 논문은 혼합정수 원뿔 최적화를 활용해 AIC·BIC를 직접 최소화하면서 다중공선성을 제어하는 새로운 쌍별 상관 제약을 도입, 일반화 선형 모델(GLM)의 특성 선택과 모델 선택을 완전 자동화하는 방법을 제시한다.

상세 분석

본 연구는 기존의 베스트 서브셋 선택(BSS) 문제를 정보 기준(AIC, BIC)과 결합한 피처 서브셋 선택(FSS) 문제로 확장하고, 이를 혼합정수 원뿔( mixed‑integer conic) 최적화 프레임워크 안에서 정확히 풀 수 있음을 보였다. 핵심 기여는 두 가지이다. 첫째, GLM(선형, 로지스틱, 포아송)의 로그우도 함수를 원뿔 형태로 재구성함으로써, 기존에 로그우도 근사나 piecewise‑linear 변환에 의존하던 방법들을 배제하고, 원뿔 최적화 솔버가 제공하는 전역 최적 해를 직접 얻는다. 이를 위해 가우시안 회귀는 두 번째 차원 원뿔(second‑order cone), 로지스틱·포아송 회귀는 지수 원뿔(exponential cone)을 이용한다. 둘째, 다중공선성을 제어하기 위한 새로운 쌍별 상관 제약을 설계했다. 이 제약은 기존의 부호 일관성(sign‑coherence) 제약에, 계수들의 절대값을 동일하게 강제하는 Ridge‑type 제약과 OSCAR‑style 군집화 제약을 결합한 형태이다. 수식적으로는 두 변수 i, j에 대해 |β_i| = |β_j| 혹은 |β_i|·|β_j| ≤ τ·corr(X_i, X_j)·M 형태의 비선형 제약을 선형화하여 혼합정수 원뿔 모델에 포함시켰다. 결과적으로, 강한 상관관계를 가진 변수들은 동일한 크기의 계수를 갖게 되며, 부호가 일치하도록 강제함으로써 해석 가능성을 높이고, 과도한 분산 팽창을 방지한다.

또한, 로지스틱 회귀에서 발생할 수 있는 ‘분리(separation)’ 현상을 탐지하기 위해 선형 프로그램 기반의 존재성 검사를 도입했다. 이는 로그우도 무한대로 발산하는 경우를 사전에 차단하여, 솔버가 비실현 가능한 해를 반환하지 않도록 보장한다.

실험에서는 1,000개 이상의 관측치와 수백 개의 피처를 가진 합성 데이터와 실제 데이터셋을 대상으로, 제안된 모델이 기존의 단계적 회귀, LASSO, 하이브리드 탐색법 등에 비해 AIC/BIC 최소화 측면에서 일관되게 우수함을 확인했다. 특히, 다중공선성이 심한 상황에서 기존 방법들은 계수의 부호가 뒤바뀌거나 수치적 불안정성을 보였지만, 제안된 쌍별 상관 제약을 적용한 모델은 안정적인 해를 제공했다.

이와 같이, 논문은 (1) GLM 전반에 적용 가능한 원뿔 최적화 기반 FSS 프레임워크, (2) 다중공선성 및 분리 문제를 동시에 해결하는 새로운 제약 설계, (3) AIC·BIC를 직접 목표함수에 포함시켜 모델 선택을 완전 자동화한다는 세 가지 혁신을 제시한다. 이러한 접근은 통계학적 해석 가능성과 최적화 이론을 연결하는 중요한 교량 역할을 하며, 향후 고차원 데이터 분석 및 자동화된 머신러닝 파이프라인에 적용 가능성이 크다.