다중 희소 해를 찾아내는 변분 베이지안 프레임워크 GEMSS

초록

GEMSS는 n ≪ p 상황에서 상관관계가 높은 변수들 사이에 존재하는 여러 개의 희소 해를 동시에 탐색하는 변분 베이지안 방법이다. 구조화된 spike‑and‑slab 사전과 가우시안 혼합 근사, Jaccard 기반 다양성 페널티를 결합해 하나의 목적함수로 최적화한다. 128개의 합성 실험에서 고차원(p = 5000)·소표본(n = 50) 환경, 회귀·분류 모두에서 정확히 복원하고, 결측치와 클래스 불균형에도 강인함을 보였다. 파이썬 패키지와 GUI 툴을 제공한다.

상세 분석

GEMSS는 전통적인 Lasso나 단일 spike‑and‑slab 베이지안 모델이 제공하는 단일 최적해의 한계를 극복하고자 설계되었다. 핵심 아이디어는 다중 모드를 갖는 사후분포를 가우시안 혼합(m개의 대각 가우시안)으로 근사함으로써, 각 혼합 성분이 서로 다른 희소 지원(support)을 나타내게 하는 것이다. 이를 위해 구조화된 spike‑and‑slab 사전(sss)을 사용해 정확히 D개의 비영(非零) 항목을 갖는 지원 집합을 사전 확률로 부여한다. 작은 p에서는 모든 지원을 열거하고, 큰 p에서는 무작위 샘플링으로 근사한다. 사후근사는 ELBO를 최대화하는 변분 최적화 문제로 전환되며, KL 발산을 최소화하는 것이 목표이다. 여기서 중요한 점은 Jaccard 기반 다양성 정규화 항을 추가해 혼합 성분 간 지원 겹침을 억제한다는 것이다. λ_J 파라미터를 조절해 다양성 정도를 제어할 수 있다. 최적화는 Adam 기반 확률적 경사 하강법과 implicit reparameterization trick을 사용해 효율적으로 수행된다. 결측치 처리는 관측값을 마스크하고, 변분 기대값을 통해 자동 보완한다. 실험에서는 7개의 난이도 티어와 128개의 시나리오(분류·회귀, 노이즈, 불균형, 결측)에서 기존 방법(Lasso, Sequential Lasso, ALFESE, SES 등) 대비 지원 복원율, Jaccard 다양성, 예측 정확도 모두 우수함을 입증했다. 특히 고차원·소표본 상황에서 m = 5~10개의 해를 동시에 찾으며, 각 해가 서로 다른 변수 조합을 제공해 도메인 전문가가 선택할 수 있는 후보군을 확대한다. 또한, 연속형 목표에 대한 확장성과 파라미터 λ_J에 대한 민감도 분석을 통해 실용적인 사용 가이드를 제시한다. 한계점으로는 사전 설계(D값, λ_J)와 혼합 성분 수 m에 대한 사전 지식이 필요하고, 매우 큰 p에서 지원 샘플링 비용이 증가할 수 있다. 향후 연구에서는 자동 모델 선택과 비선형 확장, 그리고 대규모 분산 구현이 제안된다.