적응형 결합 공분산을 이용한 L1 정규화 판별분석

초록

본 논문은 두 클래스의 정규분포 가정을 기반으로, 클래스별 정밀행렬(precision matrix) 차이에 L1 패널티를 적용해 요소별로 선택적으로 결합(pool)하는 L1‑PDA(L1‑Pooled Discriminant Analysis) 모델을 제안한다. λ=0이면 QDA, λ가 충분히 크면 LDA와 동일해지며, λ에 따라 정밀행렬 차이가 희소해지는 경로를 제공한다. ADMM 기반 효율적인 최적화 알고리즘을 제시하고, 모델을 로지스틱 회귀의 상호작용 추정과 연결시켜 해석적 의미를 부여한다. 실험을 통해 기존 RDA·Sparse LDA와 비교해 우수성을 확인한다.

상세 분석

본 연구는 전통적인 LDA와 QDA가 갖는 편향‑분산 트레이드오프를 정밀행렬(Σ⁻¹) 차이에 대한 L1 정규화를 통해 완화한다는 점에서 혁신적이다. 저자는 “대부분의 (i,j) 쌍에 대해 Σ₁⁻¹(i,j)≈Σ₂⁻¹(i,j)”라는 가정을 두고, 차이 행렬 Δ=½(Σ₁⁻¹−Σ₂⁻¹)의 원소 개수를 제한하거나, 보다 실용적으로는 ‖Δ‖₁≤c 형태의 convex relaxation을 도입한다. 이때 목적함수는 로그우도와 ‖Δ‖₁ 패널티의 합이며, μ₁, μ₂는 샘플 평균으로 고정될 수 있어 공분산 추정에만 집중한다.

KKT 조건을 전개하면
‑n₁( S₁−Σ̂₁ )⁻¹ + n₂( S₂−Σ̂₂ )⁻¹ + λ∂(Σ̂₁⁻¹−Σ̂₂⁻¹)=0
와
S_pool = (n₁S₁+n₂S₂)/(n₁+n₂) = (n₁Σ̂₁ + n₂Σ̂₂)/(n₁+n₂)
가 얻어진다. 첫 식은 차이 행렬이 희소하도록 강제하고, 두 번째 식은 두 클래스의 공분산 평균이 λ와 무관하게 고정된다는 중요한 특성을 보여준다. λ=0이면 QDA 해, λ≥λ_max이면 LDA 해가 된다. λ_max은 ‖S₁−S₂‖_∞에 비례해 정의된다.

알고리즘 측면에서는 ADMM을 활용한다. 변수 A=Σ₁⁻¹, B=Σ₂⁻¹, C=A−B, Γ는 듀얼 변수이며, 각 단계는 고유값 분해와 소프트-쓰레시팅을 통해 폐쇄형 업데이트가 가능하다. 복잡도는 O(p³)인 고유값 분해가 지배하지만, 수백 차원까지 실용적으로 수행 가능하다.

또한, 모델을 “역방향 생성 모델”에서 “전방 로지스틱 모델”로 변환하면
logit P(y=1|x)=β₀+βᵀx + ½ xᵀΓx
가 된다. 여기서 β=Σ₁⁻¹μ₁−Σ₂⁻¹μ₂, Γ=Σ₂⁻¹−Σ₁⁻¹이며, LDA에서는 Γ=0, QDA에서는 Γ가 완전 비제로이다. L1‑PDA는 Γ의 비대각 원소를 선택적으로 0으로 만들어 변수 간 상호작용을 희소하게 추정한다는 점에서 고차원 로지스틱 회귀의 상호작용 추정과 직접 연결된다.

비교 연구에서는 RDA와 Sparse LDA를 다룬다. RDA는 공분산을 고유값 축소 방식으로 혼합하지만 basis‑invariant 특성을 갖는다. 반면 L1‑PDA는 특정 basis(원 변수 공간)에서 희소성을 가정하므로, 변수 선택이 아닌 상호작용 선택에 초점을 맞춘다. Sparse LDA는 주로 변수 자체를 제한하는 반면, L1‑PDA는 결정 경계의 형태(선형 vs. 이차)를 조절한다.

마지막으로, 데이터 차원 p가 n₁+n₂보다 클 경우 PSD 제약으로 인해 해가 존재하지 않을 수 있음을 지적한다. 그러나 S_pool이 full rank이면 λ>0일 때는 해가 존재한다는 점에서 실용적인 안정성을 제공한다.