패턴별 로지스틱 회귀로 결측값을 정확히 예측하는 방법

초록

본 논문은 결측 패턴마다 별도의 로지스틱 모델을 학습하는 Pattern‑by‑Pattern(PbP) 전략이, 입력 변수가 가우시안 패턴 혼합 모델(GPMM)을 따를 때 베이즈 확률을 근사함을 이론적으로 증명하고, 다양한 결측 메커니즘(MCAR, MAR, MNAR)에서 실험적으로 검증한다. 실험 결과는 작은 표본에서는 평균 대체가 충분히 빠른 기준이 되며, 큰 표본에서는 PbP가 효율적이고 정확한 예측을 제공한다는 점을 보여준다. 가장 높은 성능은 라벨을 포함한 비선형 다중 반복 임퓨테이션(Random Forest MICE)에서 얻어진다.

상세 분석

이 논문은 결측값이 존재하는 이진 분류 문제에서 “패턴별 로지스틱 회귀”(Pattern‑by‑Pattern, 이하 PbP) 전략의 타당성을 체계적으로 탐구한다. 먼저 저자들은 데이터가 Gaussian Pattern Mixture Model(GPMM) 하에 생성된다고 가정한다. GPMM은 각 결측 패턴마다 서로 다른 평균·공분산을 갖는 다변량 정규분포를 의미하며, MCAR·MAR·MNAR 모두를 포괄한다. 이 가정 하에 Probit 모델에 대해서는 각 패턴이 여전히 Probit 형태를 유지한다는 정리를 제시한다(정리 3.3). 이는 Probit이 선형 예측량의 조건부 기대값에 Φ 함수를 적용한 형태이므로, Gaussian 입력의 선형성 때문에 패턴별 모델이 동일한 형태를 유지한다는 점을 보여준다.

Logistic 모델에 대해서는 기존 연구(Lobo et al., 2025)가 “패턴별 로지스틱 모델은 정확히 베이즈 모델이 아니다”라고 증명했지만, 본 논문은 정리 3.5를 통해 “PbP 로지스틱 회귀는 베이즈 확률에 매우 근접한다”는 근사 결과를 도출한다. 핵심 아이디어는 Probit과 Logistic 함수 사이의 차이를 ε(t)=Φ(t)−σ(t·√(π/8)) 로 정의하고, 이 오차가 전역적으로 0.018 이하임을 이용해 σ(··√(π/8)) 가 Φ와 거의 동일하다는 사실을 활용한다. 따라서 베이즈 확률 η*_m(x)는 σ(α₀,m+α_mᵀx)·(1+π/8·\tildeσ²_m)⁻¹ 형태로 표현될 수 있으며, 여기서 \tildeσ²_m는 결측 변수들의 가중 평균 분산을 나타낸다. 즉, 결측이 많고 해당 변수들의 회귀계수가 크게 작용할수록 보정 인자가 커져서 로지스틱 형태에서 약간의 왜곡이 발생하지만, 전체적인 형태는 여전히 로지스틱과 매우 유사하다.

실증 부분에서는 다양한 결측 메커니즘과 샘플 크기, 차원 수에 대해 4가지 평가 지표(분류 정확도, 확률 추정, 캘리브레이션, 파라미터 추정)를 사용해 PbP, 평균 대체, MICE, Random Forest MICE, EM‑기반 방법 등을 비교한다. 결과는

1. 표본이 작을 때는 평균 대체가 빠르고 안정적인 베이스라인 역할을 한다.
2. 중·대형 표본에서는 PbP가 학습 속도와 예측 정확도 사이에서 좋은 균형을 보이며, 특히 GPMM 가정이 만족될 때 베이즈 확률에 가장 근접한다.
3. 비선형 관계가 존재하거나 Gaussian 가정이 깨지는 경우(Random Forest MICE)와 같이 라벨을 포함한 비선형 다중 임퓨테이션이 가장 높은 성능을 달성한다.

또한 저자들은 실제 데이터셋에서 결측 패턴이 전체 가능한 2^d 개 중 소수(예: 5~10개)만 차지한다는 “패턴 집중 현상”을 관찰한다. 이는 PbP가 차원의 저주(curse of dimensionality)를 완화하고, 실용적으로 적용 가능함을 뒷받침한다. 전체적으로 이 논문은 “패턴별 로지스틱 회귀는 이론적으로는 완전한 베이즈 모델이 아니지만, Gaussian 기반 결측 구조 하에서는 충분히 정확한 근사 모델이며, 실무에서도 효율적인 대안이 될 수 있다”는 중요한 메시지를 제공한다.