고차원 일반화 선형 혼합 모델을 위한 L1 패널티 알고리즘 GLMMLasso

초록

**
본 논문은 고차원 데이터에서 일반화 선형 혼합 모델(GLMM)을 추정하기 위해 L1 패널티를 적용한 GLMMLasso 알고리즘을 제안한다. 변수 선택을 위한 1차 스크리닝 단계와 선택된 변수만을 이용한 최대우도 재추정 단계로 구성된 두 단계 절차를 통해 변수 선택 편향을 보정한다. 라플라스 근사와 순환 좌표 하강법을 결합해 수천 개 변수까지 처리 가능한 효율적인 구현을 제공하며, R 패키지 glmmixedlasso 로 공개한다.

**

상세 분석

**
GLMMLasso는 고차원 GLMM에서 변수 선택과 추정을 동시에 수행하기 위한 새로운 프레임워크이다. 기존 GLMM은 랜덤 효과와 고정 효과를 동시에 모델링하지만, 변수 수(p)가 표본 크기(n)보다 훨씬 클 때는 전통적인 최대우도 방법이 계산적으로 불가능하고 과적합 위험이 크다. 이를 해결하기 위해 저자들은 β(고정 효과) 벡터에 L1 패널티 ‖β‖₁을 추가한 목적함수 Qₗ(β,θ,φ)=−2logL(β,θ,φ)+λ‖β‖₁을 정의한다. 여기서 L은 라플라스 근사를 이용해 적분을 근사한 GLMM의 가능도이며, θ는 랜덤 효과 공분산 파라미터, φ는 분산 파라미터(필요시)이다.

라플라스 근사는 고차원 적분을 효율적으로 근사하면서도 정확도가 충분히 높아, GLMM의 비선형 구조를 유지한다. 저자들은 라플라스 근사에 기반한 목적함수의 2차 근사를 이용해 순환 좌표 하강법(CGD)을 적용한다. 구체적으로, 각 고정 효과 βₖ에 대해 라플라스 근사에서 얻은 모드 ũ를 고정하고, f(ψ) = −2∑ᵢ(yᵢξᵢ−b(ξᵢ)) + log|ZΛθᵀWZΛθ+I| +‖ũ‖² 라는 비선형 손실을 정의한다. βₖ에 대한 2차 미분을 근사(hₛₖ)하고, 중간값 정리를 이용해 서브그라디언트와 결합한 폐쇄형 업데이트식 dₛₖ = median(λ−∂f/∂βₖ / hₛₖ, −βₖ, −λ−∂f/∂βₖ / hₛₖ) 를 도출한다. 이후 Armijo 규칙에 따라 스텝 사이즈 αₛₖ를 선택해 목적함수가 감소하도록 보장한다.

알고리즘은 정확 버전(Algorithm 1)과 근사 버전(Algorithm 2)으로 나뉜다. 근사 버전에서는 ũ를 매 반복마다 재계산하지 않고 고정함으로써 계산량을 크게 줄인다. 실험 결과, 근사 버전이 정확 버전과 거의 동일한 변수 선택 정확도와 추정 정확도를 보이며, 실행 시간이 수십 배 단축된다.

두 단계 절차는 첫 단계에서 L1 패널티를 이용해 변수 스크리닝을 수행하고, 두 번째 단계에서 선택된 변수 집합에 대해 무패널티 최대우도 추정을 수행한다. 이는 Lasso의 편향을 보정하고, 특히 GLMM에서 랜덤 효과 분산 추정에 미치는 영향을 최소화한다. 저자들은 시뮬레이션과 실제 데이터(예: 유전학적 표현형 데이터)에서 이 두 단계 절차가 변수 선택 정확도와 예측 성능 모두에서 기존 방법(lme4, glmer, penalized GLMM)보다 우수함을 입증한다.

또한, 알고리즘 구현은 R 패키지 glmmixedlasso 로 제공되어, 사용자는 손쉽게 고차원 GLMM 분석을 수행할 수 있다. 패키지는 활성 집합 전략을 통해 메모리 사용을 최적화하고, 사용자 정의 λ 선택(교차 검증, BIC 등)도 지원한다.

핵심 기여는 (1) 라플라스 근사와 순환 좌표 하강법을 결합한 고차원 GLMM용 L1 패널티 최적화 프레임워크, (2) 변수 선택 편향을 보정하는 두 단계 재추정 절차, (3) 실용적인 R 구현을 통한 접근성 향상이다. 이 연구는 고차원 혼합 효과 모델링에 대한 이론적·실용적 토대를 제공하며, 향후 베이지안 스파스 혼합 모델, 다중 레벨 구조 확장 등에 대한 연구 방향을 제시한다.

**