선형 회귀, 비선형 세계에서 해석하기

초록

본 논문은 비선형 데이터 생성 과정에서 다변량 선형 회귀 계수의 해석 방법을 탐구합니다. 관심 변수와 다른 공변량 간 관계가 선형일 경우 회귀 계수는 결과 변수의 조건부 기대 함수 미분값의 가중 평균으로 해석될 수 있으나, 비선형 관계일 경우 이로부터 편향이 발생하며, 이 편향은 측정 오차나 누락 변수 편향과 유사하게 해석 가능함을 보입니다.

상세 분석

이 논문의 핵심 기여는 기존 Yitzhaki(1996)의 단변량 평균 미분 정리를 다변량 설정으로 확장하고, 선형 회귀 계수가 ‘Naive Regression-Weighted Effect’(NRWE)라는 새로운 모수와 어떤 조건에서 일치하는지 체계적으로 분석한 점에 있습니다. NRWE는 관심 변수(T)에 대한 결과(Y)의 조건부 기대 함수 미분값을, T의 조건부 분산에 비례하는 가중치로 평균한 값으로, 각 공변량(X) 수준별 Yitzhaki 가중치를 먼저 계산한 후 X 전체에 대해 평균한 개념입니다.

논문의 핵심 명제(Proposition 1)는 모회귀 계수 β가 NRWE와 두 가지 항의 합으로 표현됨을 보입니다: 첫째는 NRWE와 유사하지만 분모에 ∆(X)의 분산이 추가되어 가중치 합이 1이 되지 않는 ‘가중 효과’ 항이며, 둘째는 ∆(X)(=E