고차원 회귀를 위한 프로파일 M‑추정 기반 디바이어스 추정법

초록

본 논문은 고차원 회귀 모델에서 기존의 Neyman 직교화 방식이 필요로 하는 명시적 투영을 회피하고, 페널라이즈드 M‑추정의 프로파일 함수를 수치 미분으로 근사한 뒤 뉴턴‑라프슨 한 단계 업데이트를 적용해 편향을 제거하는 Debiased Profile M‑Estimation(DPME) 프레임워크를 제안한다. DPME는 asymptotic linearity와 정상성을 보이며, 시뮬레이션과 다발성 골수종 치료 규칙 추정 사례에서 기존 방법보다 높은 신뢰구간 커버율과 낮은 계산 비용을 입증한다.

상세 분석

DPME는 고차원 회귀에서 페널티에 의해 발생하는 편향을 교정하기 위해 “프로파일” 개념을 핵심으로 삼는다. 전체 파라미터 f∈F를 고차원 힐베르트 공간으로 두고, 관심 파라미터 θ=F(f)를 저차원(고정 차원)으로 정의한다. 기존 방법은 θ와 연관된 ‘노이즈’(nuisance) 파라미터에 대해 명시적 투영 연산자를 구성해 Neyman orthogonal score를 만들었다. 그러나 이러한 투영은 모델에 따라 복잡하거나 전혀 존재하지 않을 수 있다. DPME는 θ를 고정하고 나머지 파라미터를 최적화한 프로파일 목적함수 A_n(θ)=P_n m(Z, f̂_n(θ))를 정의한다. 여기서 f̂_n(θ)는 제약 F(f)=θ 하에서의 페널라이즈드 M‑추정 해이다.

핵심 아이디어는 A_n(θ)의 1차·2차 미분을 수치적으로 근사하고, 이를 이용해 초기 추정값 bθ_n에 한 번의 Newton‑Raphson 업데이트를 수행하는 것이다. 구체적으로
eθ_n = bθ_n −