더 나은 부분집합 회귀

초록

본 논문은 고차원 선형 회귀에서 변수 스크리닝 성능과 모델 적합도 사이의 관계를 이론적으로 규명한다. 희소성 가정 하에 진정한 모형을 포함하는 부분집합은 RSS가 항상 더 작아 “더 좋은 적합 → 더 좋은 스크리닝” 원칙을 제시한다. 이를 구현하기 위해 최적 부분집합 회귀와 연계된 EM 알고리즘인 Orthogonalizing Subset Screening(OSS)과 그 가속 버전을 제안하고, 단조성 보장을 통해 기존 스크리닝 방법보다 향상된 적합도와 점진적 스크리닝 일관성을 입증한다. 시뮬레이션 결과, 제안 방법은 제한된 표본에서도 높은 변수 선택 정확도를 보인다.

상세 분석

논문은 고차원 선형 회귀 모델에서 변수 선택, 즉 스크리닝이 두 가지 핵심 목표—모델 적합도와 변수 포함 정확도—를 동시에 만족해야 함을 강조한다. 저자는 “진정한 서브모델을 포함하는 부분집합은 포함하지 않는 모든 부분집합보다 잔차제곱합(RSS)이 작다”는 정리를 비정규화된 일반 asymptotic 환경에서 증명한다. 이 정리는 희소성(sparsity) 가정, 즉 실제 회귀계수가 대부분 0이라는 전제 하에, 변수 수 p가 표본 크기 n보다 훨씬 클 때도 성립한다. 따라서 RSS가 작을수록 해당 부분집합이 진정한 변수들을 포함할 확률이 높아지는, 일종의 “better fitting, better screening” 규칙을 이론적으로 뒷받침한다.

이 규칙을 실용적으로 활용하기 위해 저자는 최적 부분집합 회귀(best subset regression) 문제를 EM 프레임워크로 재구성한다. E‑step에서는 현재 선택된 변수 집합을 고정하고, M‑step에서는 잔차를 최소화하도록 변수들을 재선택한다. 핵심 아이디어는 설계 행렬을 직교화(orthogonalize)함으로써 M‑step에서의 최적화가 단순한 좌표별 임계값 비교로 귀결되게 하는 것이다. 이를 ‘Orthogonalizing Subset Screening(OSS)’이라 명명하고, 계산 효율성을 위해 가속 버전(A‑OSS)에서는 Nesterov‑type 가속과 적응형 단계 크기 조정을 도입한다.

두 알고리즘 모두 단조성(monotonicity)을 보장한다. 즉, 초기값으로 SIS, ISIS, Lasso 등 기존 스크리닝 방법이 제공하는 변수 집합을 사용하면, OSS/A‑OSS는 반복 과정에서 RSS를 절대 감소시키며, 결과적으로 초기 집합보다 적합도가 높은 새로운 부분집합을 산출한다. 이 단조성은 수렴성을 보장하고, 수렴점이 전역 최적은 아니더라도 “better fitting” 특성을 유지한다는 점에서 실용적이다.

이론적 분석에서는 다음과 같은 두 가지 주요 정리를 제시한다. 첫째, RSS가 감소하는 과정에서 선택된 변수 집합이 진정한 변수들을 포함할 확률이 1에 수렴한다는 ‘스크리닝 일관성(screening consistency)’ 결과이다. 둘째, 초기값이 충분히 “포괄적”(true variables를 모두 포함)하면 OSS는 제한된 단계 내에 최적 부분집합에 수렴한다는 ‘근접 최적성(near‑optimality)’ 보장이다.

시뮬레이션에서는 p=5000, n=200 등 극단적인 차원비를 설정하고, 다양한 신호‑대‑노이즈 비(SNR)와 상관 구조를 고려했다. 결과는 OSS와 A‑OSS가 기존 SIS, ISIS, SCAD, MCP 등에 비해 변수 재현율, 정밀도, F1‑score 모두에서 우수함을 보여준다. 특히 표본 크기가 작고 신호가 약한 경우에도 오차율이 현저히 낮아, 제한된 데이터 환경에서도 실용적임을 입증한다.

전반적으로 이 논문은 “적합도와 스크리닝 성능은 동일한 목표를 공유한다”는 통찰을 바탕으로, EM 기반 직교화 알고리즘을 통해 고차원 변수 선택 문제에 새로운 해법을 제시한다. 단조성 보장, 가속화 전략, 그리고 광범위한 실험 검증을 통해 제안 방법의 이론적·실무적 가치를 충분히 입증하였다.