비가우시안 잡음 하 비선형 인과 추론을 위한 최소제곱 독립 회귀

초록

본 논문은 입력 변수와 잔차 사이의 제곱 손실 상호 정보(Squared‑Loss Mutual Information)를 최소화하는 새로운 알고리즘인 최소제곱 독립 회귀(LSIR)를 제안한다. LSIR은 커널 폭과 정규화 파라미터를 교차 검증으로 자동 선택함으로써 과적합을 방지하고, 비가우시안 잡음이 존재하는 비선형 인과 모델을 효과적으로 학습한다. 실험 결과, LSIR은 최신 인과 추론 방법과 비교해 경쟁력 있는 성능을 보였다.

상세 분석

LSIR은 비선형 인과 관계를 탐색하기 위해 “Additive Noise Model”(ANM)을 전제로 한다. ANM에서는 원인 X와 결과 Y가 Y = f(X)+E 형태로 표현되며, 여기서 E는 X와 독립인 비가우시안 잡음이다. 기존 방법들은 주로 독립성 검정에 커널 기반의 HSIC(Hilbert‑Schmidt Independence Criterion)나 회귀 잔차의 정규성을 이용했지만, 파라미터 선택이 경험적이거나 고정된 경우가 많아 실제 데이터에 대한 일반화가 제한적이었다.

LSIR은 이러한 한계를 극복하기 위해 두 핵심 아이디어를 도입한다. 첫째, 입력 X와 잔차 Ê 사이의 제곱 손실 상호 정보를 추정한다. 제곱 손실 상호 정보는 KL‑divergence 기반의 MI와 달리 비음수이며, 최소화 목표가 “독립성”과 직접적으로 연결된다. 둘째, 이 추정 과정에 사용되는 커널 함수와 정규화 파라미터를 교차 검증(CV)으로 최적화한다. CV는 데이터에 내재된 구조를 반영해 과적합을 방지하고, 모델 복잡도를 자동으로 조절한다는 점에서 큰 장점이다.

구체적으로 LSIR은 다음과 같은 절차를 따른다. (1) 입력 X와 잠정적 함수 fθ(X)를 정의하고, 잔차 r = Y − fθ(X)를 계산한다. (2) r와 X에 대해 Gaussian RBF 커널을 적용해 각각의 Gram 행렬 KX, Kr을 만든다. (3) 제곱 손실 상호 정보의 샘플 기반 추정량인 LSMI(L²‑MI)를 KX와 Kr를 이용해 계산한다. (4) LSMI와 정규화 항 λ‖θ‖²의 합을 손실 함수로 정의하고, θ를 최적화한다. (5) 커널 폭 σ와 λ는 K‑fold CV를 통해 최소 LSMI를 보이는 조합을 선택한다.

이 과정에서 중요한 수학적 성질은 LSMI가 비편향 추정량이며, 미분 가능하다는 점이다. 따라서 경사 기반 최적화가 가능하고, 대규모 데이터에도 확장성이 있다. 또한, LSIR은 기존 HSIC‑based 방법보다 파라미터 민감도가 낮으며, 비가우시안 잡음(예: 라플라스, 혼합 가우시안)에서도 안정적인 독립성 검정을 제공한다. 실험에서는 인공 합성 데이터와 UCI, CauseEffectPairs와 같은 실제 데이터셋을 사용했으며, 정확도, AUC, 그리고 모델 선택 안정성 측면에서 기존 최첨단 방법인 ANM‑HSIC, IGCI, PNL 등을 능가하거나 동등한 성능을 보였다.

요약하면, LSIR은 제곱 손실 기반의 상호 정보 최소화를 핵심 목표로 삼아, 커널 파라미터와 정규화 강도를 데이터에 맞게 자동 튜닝함으로써 비가우시안 잡음 하에서도 신뢰할 수 있는 비선형 인과 추론을 가능하게 한다.