Bregman 발산으로 보는 통합 디바이어스 머신러닝 프레임워크

초록

본 논문은 Riesz 대표자를 Bregman 발산 최소화 방식으로 추정하는 ‘Generalized Riesz Regression’이라는 통합 방법을 제안한다. 특수한 발산 선택에 따라 기존의 Riesz 회귀, KL 기반 손실 최소화 등 다양한 기존 기법을 포괄하며, 자동 공변량 균형과 자동 Neyman 직교성을 이론적으로 보장한다. RKHS와 신경망 모델에 대한 수렴 속도 분석과 파이썬 패키지 구현도 제공한다.

상세 분석

이 연구는 반베그만(Bregman) 발산이라는 일반화된 거리 개념을 이용해 Riesz 대표자(α₀)를 직접 추정하는 새로운 프레임워크를 제시한다. Bregman 발산 D_φ(p‖q)=φ(p)−φ(q)−⟨∇φ(q),p−q⟩를 손실 함수로 삼아 모델 α̂를 학습하면, φ와 연결 함수(link) 선택에 따라 다양한 특수 경우가 도출된다. 예를 들어, φ(u)=½‖u‖²와 선형 링크를 사용하면 기존의 제곱오차 기반 Riesz 회귀(SQ‑Riesz)가 재현되고, φ가 로그‑우도 형태이고 로그 링크를 쓰면 KL‑발산 기반의 맞춤 손실(UKL‑Riesz)이 얻어진다. 핵심은 ‘dual linearity’ 조건이다. 즉, 선택된 손실‑링크 쌍이 이중 변수(라그랑주 승수)와 모델 파라미터 사이에 선형 관계를 만들면, 최적화의 KKT 조건이 공변량 균형 방정식으로 변환된다. 따라서 추정된 α̂는 자동으로 공변량 균형을 만족하게 되며, 이를 ‘automatic covariate balancing’이라 명명한다.

이와 동시에, 동일한 손실‑링크 쌍 아래에서는 가중 평균 𝔼