초고차원 변수 선택: 선형 모델을 넘어 새로운 접근

초록

고차원 데이터에서 변수 선택은 과학적 발견과 의사결정에 핵심적인 역할을 한다. 기존에 널리 사용되는 방법들은 독립성 스크리닝에 기반하며, 대표적으로 상관계수 순위법(Fan·Lv, 2008)이나 고차원 분류에서 두 표본 t‑검정에 의한 특징 선택(Tibshirani 등, 2003)이 있다. 선형 모델 환경에서 Fan·Lv(2008)는 이러한 단순 상관 순위가 일정 조건 하에 ‘확실한 독립 스크리닝(sure independence screening)’ 특성을 갖는다는 것을 보였으며, 변수들이 주변적으로는 무관하지만 공동으로는 반응 변수와 연관될 때는 반복적 확실 독립 스크리닝(ISIS)이 필요함을 제시하였다. 본 논문에서는 잔차를 명시적으로 정의하지 않고도 일반적인 의사우도(pseudo‑likelihood) 프레임워크에 ISIS를 확장한다. 이 프레임워크는 일반화 선형 모델을 포함한다. 최소제곱 상황에서도 새로운 방법은 반복 과정에서 변수 삭제를 허용함으로써 기존 ISIS를 개선한다. 제안된 기법은 두 표본 t‑방법이 실패하는 고차원 분류 문제에서도 중요한 특징을 선택할 수 있게 한다. 스크리닝 단계에서 허위 발견률을 낮추는 새로운 기법도 도입하였다. 여러 시뮬레이션과 두 개의 실제 데이터 예시를 통해 방법론을 입증한다.

상세 요약

이 논문은 고차원 데이터 분석에서 변수 선택 문제를 기존 선형 회귀 모델의 한계를 넘어 일반화된 의사우도(framework)로 확장한다는 점에서 학술적·실용적 의의를 가진다. 먼저, 기존의 독립성 스크리닝 방법—특히 상관계수 기반 순위와 두 표본 t‑검정—은 변수와 반응 사이의 일대일 관계를 전제로 한다. 그러나 실제 데이터에서는 변수들이 서로 강하게 상관관계를 가지거나, 개별적으로는 반응에 영향을 미치지 않지만 집합적으로는 중요한 역할을 하는 경우가 빈번하다. Fan과 Lv가 제시한 ISIS는 이러한 상황을 다루기 위해 반복적으로 모델을 재구성하고, 이전 단계에서 선택된 변수들의 잔차를 이용해 새로운 변수를 평가한다. 하지만 ISIS는 잔차를 명시적으로 계산해야 하며, 이는 선형 회귀 외의 모델(예: 로지스틱 회귀, 포아송 회귀 등)에서는 구현이 복잡하거나 불가능할 수 있다.

본 연구는 “잔차를 명시적으로 정의하지 않는다”는 핵심 아이디어를 도입함으로써, 의사우도 기반의 일반화 선형 모델(GLM)까지 ISIS를 자연스럽게 확장한다. 의사우도는 로그우도와 유사한 형태를 가지면서도 비정규분포, 이산형 반응 등 다양한 상황에 적용 가능하므로, 모델링 유연성이 크게 향상된다. 또한, 기존 ISIS는 선택된 변수를 일단 포함하면 이후 단계에서 제거되지 않는 구조적 한계가 있었는데, 저자들은 반복 과정 중에 변수 삭제를 허용하는 메커니즘을 설계하였다. 이는 과적합을 방지하고, 초기 스크리닝 단계에서 발생할 수 있는 ‘노이즈 변수’의 지속적인 포함을 차단한다는 점에서 실용적이다.

특히 고차원 분류 문제에서 두 표본 t‑검정이 실패하는 경우—예를 들어 클래스 간 평균 차이가 미미하거나, 변수 간 상호작용이 주요 구분 요인일 때—새로운 방법은 의사우도 기반 스코어를 사용해 변수의 중요도를 평가한다. 이는 클래스 확률을 직접 모델링하는 로지스틱 회귀 형태의 의사우도 함수를 통해 구현되며, 변수 선택 과정이 반응 변수의 실제 확률 구조를 반영한다는 장점을 가진다.

허위 발견률(FDR)을 제어하기 위한 새로운 스크리닝 기법도 도입되었다. 전통적인 스크리닝은 단순히 상위 k개의 변수를 선택하는 방식이지만, 저자들은 p‑값 혹은 베이지안 사후 확률을 기반으로 한 임계값을 동적으로 조정함으로써, 선택된 변수 집합의 FDR을 사전에 통제한다. 이는 특히 생물학적 데이터와 같이 변수 수가 수천에서 수만에 이르는 경우, 연구자의 신뢰성을 크게 높인다.

시뮬레이션 결과는 다양한 시나리오(선형, 비선형, 이산형 반응, 변수 간 강한 상관관계 등)에서 제안된 방법이 기존 ISIS 및 단순 스크리닝보다 높은 정확도와 낮은 FDR을 보임을 입증한다. 실제 데이터 예시—예컨대 유전체 데이터와 이미지 분류 데이터—에서도 변수 선택 후 모델 성능이 현저히 향상되었으며, 선택된 변수들의 해석 가능성도 유지되었다.

한계점으로는 의사우도 함수의 선택이 결과에 민감할 수 있다는 점이다. 모델이 잘못 지정되면 스크리닝 단계에서 중요한 변수를 놓칠 위험이 존재한다. 또한, 반복 과정에서 변수 삭제 기준을 어떻게 설정하느냐에 따라 알고리즘의 수렴 속도와 최종 변수 집합의 안정성이 달라질 수 있다. 향후 연구에서는 자동화된 모델 선택 및 삭제 기준 최적화, 그리고 대규모 분산 환경에서의 효율적인 구현 방안이 필요하다.

전반적으로 이 논문은 고차원 변수 선택 분야에 중요한 이론적 확장과 실용적 도구를 제공한다. 선형 모델에 국한되지 않고, 다양한 통계·머신러닝 모델에 적용 가능한 프레임워크를 제시함으로써, 데이터 과학자와 통계학자 모두에게 유용한 참고자료가 될 것이다.