이질분산 선형 회귀를 위한 변분 베이지안 탐색과 매칭 퍼슈트

초록

본 논문은 평균과 분산이 모두 설명 변수의 선형 함수로 표현되는 고차원 이질분산 선형 회귀 모델에 대해 변분 베이지안 추정법을 제시한다. 로그 주변가능도에 대한 닫힌 형태의 변분 하한을 도출하고, 이 하한을 이용해 후보 변수들을 효율적으로 스크리닝하는 탐욕적 모델 탐색 알고리즘을 개발한다. 제안 방법은 정규 직교 매칭 퍼슈트(OMP)와 연관성을 가지면서도 보다 복잡한 모델에 확장 가능한 프레임워크를 제공한다. 시뮬레이션과 NIR 기반 식품 성분 예측, 당뇨병 진행 예측 두 실제 데이터에 적용해 성능을 검증한다.

상세 분석

이 논문은 고차원 데이터 환경에서 이질분산(heteroscedastic) 선형 회귀를 다루는 새로운 변분 베이지안(VB) 접근법을 제시한다. 전통적인 동분산 가정이 깨지는 경우, 평균과 로그-분산을 각각 선형 형태로 모델링함으로써 변수 선택과 추정이 동시에 이루어져야 하는 복합 문제를 정의한다. 저자는 변분 분포를 평균‑분산 형태의 정규·역감마 결합으로 가정하고, 증거 하한(evidence lower bound, ELBO)을 명시적으로 계산한다. 특히, ELBO를 닫힌 형태로 표현함으로써 파라미터 업데이트가 단순한 행렬 연산으로 귀결돼 대규모 변수 집합에서도 계산 비용이 크게 감소한다.

모델 탐색 단계에서는 현재 모델의 ELBO를 한 번의 업데이트만으로 근사적으로 평가할 수 있는 “one‑step update” 기법을 도입한다. 이를 통해 수천 개의 후보 변수를 빠르게 스크리닝하고, 가장 ELBO 향상이 큰 변수를 순차적으로 추가하거나 제거한다. 이 과정은 정규 직교 매칭 퍼슈트(OMP) 알고리즘과 구조적으로 유사하지만, OMP가 잔차와의 내적만을 이용하는 반면, 제안 알고리즘은 전체 변분 하한을 활용해 확률적 모델 적합도를 직접 최적화한다는 점에서 차별화된다.

또한, 변분 하한 자체가 로그 주변가능도의 근사치이므로, 모델 선택 기준으로 사용될 수 있다. 저자는 이 특성을 이용해 교차 검증 없이도 베이지안 모델 비교를 수행하고, 최적 모델을 자동으로 식별한다. 실험에서는 시뮬레이션을 통해 변수 선택 정확도와 예측 오차가 기존 LASSO‑type 방법보다 우수함을 보였으며, 실제 NIR 스펙트럼 데이터와 당뇨병 진행 데이터에 적용해 변수 해석 가능성과 예측 성능 모두에서 경쟁력을 입증하였다.

전반적으로, 변분 베이지안 프레임워크와 탐욕적 매칭 퍼슈트 전략을 결합함으로써, 고차원 이질분산 회귀 모델의 추정·선택·예측을 일관된 하나의 알고리즘으로 통합한 점이 가장 큰 공헌이라 할 수 있다.