베이지안과 빈도주의의 이상치 강인성 접근법 통합

초록

**
본 논문은 M‑추정량을 무거운 꼬리 분포의 최대우도 추정으로 해석함으로써 베이지안과 빈도주의의 강인성 방법을 연결한다. 빈도주의자는 비정규화(비정상) 모델을 허용하지만 전통적 베이지안은 정규화된 사후분포만을 사용한다는 근본적 차이를 지적한다. 이를 해소하기 위해 일반화 베이지안 프레임워크(Bissiri et al., 2016)를 도입하고, Tukey biweight M‑추정량에 대응하는 비정규화 모델의 일반화 사후분포를 연구한다. 이론적 결과(강인성 특성, 강한 일관성, Bernstein–von Mises 정리)와 두 실제 데이터 예제가 제시되어, 일반화 베이지안을 적용하면 빈도주의와 동일한 추정 결과를 얻을 수 있음을 보여준다.

**

상세 분석

**
논문은 먼저 회귀 분석에서 이상치가 존재할 경우 전통적인 정규오차 모델이 비효율적이며, 베이지안에서는 무거운 꼬리 분포(예: Student‑t, LPTN)를 사용해 강인성을 확보한다는 점을 상기한다. 반면 빈도주의에서는 M‑추정량을 통해 로그우도 함수를 변형하고, 이를 무거운 꼬리 분포의 최대우도 해석으로 본다. 여기서 핵심 차이는 빈도주의자는 변형된 로그우도가 반드시 정규화된 확률밀도함수를 정의할 필요가 없다는 점이다. Tukey biweight M‑추정량은 변형 로그우도가 일정값을 초과하면 더 이상 감소하지 않아, 해당 “분포”는 정규화 불가능한(improper) 형태가 된다. 전통적 베이지안은 사전과 결합해 사후분포가 정상적이어야 하므로, 이러한 비정규화 모델을 직접 사용할 수 없으며 결과적으로 사용 가능한 도구가 제한된다.

이를 해결하기 위해 저자는 Bissiri et al.(2016)의 일반화 베이지안 프레임워크를 도입한다. 이 프레임워크에서는 손실함수(또는 변형 로그우도)를 그대로 사용해 일반화 사후분포를 정의하고, 사전이 적절히 선택되면 사후분포는 정상화된다. 즉, 비정규화 모델 자체는 그대로 두고, 사전을 통해 정상화된 사후를 얻는 방식이다. 논문은 특히 Tukey biweight M‑추정량에 대응하는 비정규화 모델을 선택하고, Hyvärinen 점수를 이용해 정규화 상수 없이도 모델 적합도를 평가한다. 이는 비정규화 모델에 대한 베이지안 추론을 정당화하는 핵심 절차다.

이론적 기여는 세 가지 주요 정리로 구성된다. 첫째, 일반화 베이지안 사후가 이상치에 대해 강인성을 유지한다는 강인성 특성 정리; 둘째, 사후분포가 진정한 파라미터에 대해 강하게 일관됨을 보이는 일관성 정리; 셋째, Bernstein–von Mises 정리를 통해 일반화 사후가 대표본에서 정규근사(중심극한정리와 유사)임을 증명하고, 이를 통해 사후의 불확실성(신뢰구간)을 적절히 보정할 수 있음을 제시한다. 특히, 사후분산의 스케일을 조정하는 “온도” 파라미터를 이용해 빈도주의적 신뢰구간과 일치하도록 보정한다는 실용적 제안도 포함한다.

실증 부분에서는 두 개의 실제 회귀 데이터셋을 분석한다. 첫 번째는 Rat‑shock 데이터로, 몇몇 극단값이 회귀선에 큰 영향을 미친다. 전통적 베이지안(LPTN)과 OLS는 이들 이상치에 의해 회귀선이 크게 왜곡되지만, Tukey biweight M‑추정량은 이상치를 거의 무시하고 bulk 데이터를 잘 설명한다. 일반화 베이지안을 적용한 결과는 Tukey biweight M‑추정량과 거의 동일한 회귀계수를 제공하고, 사후 신뢰구간도 OLS와 LPTN에 비해 좁고 정확하다. 두 번째 예제는 다변량 회귀로, 변수 수가 많아 이상치 비율이 상대적으로 커지는 상황을 보여준다. 여기서도 일반화 베이지안 접근이 빈도주의적 강인 추정과 일치함을 확인한다.

결과적으로 논문은 “베이지안이 빈도주의가 사용할 수 있는 모든 강인 도구를 활용할 수 있다”는 중요한 메시지를 전달한다. 비정규화 모델을 허용하고, 적절한 사전과 일반화 사후를 사용하면 베이지안도 M‑추정량이 제공하는 극단적인 꼬리 억제 효과를 그대로 얻을 수 있다. 이는 베이지안 실무자에게 기존의 무거운 꼬리 사후분포(Student‑t, LPTN) 외에 더 넓은 설계 공간을 열어 주며, 특히 이상치가 심각한 고차원 데이터 분석에서 유용할 것으로 기대된다.

**