무게가중 최소제곱으로 절대편차 추정 대체

초록

본 논문은 무거운 꼬리를 가진 오차를 갖는 회귀·시계열 모형에서, 가중 최소제곱(Weighted Least Squares, WLS) 방법을 제안한다. 대규모 표본과 다수의 설명변수가 존재할 때, WLS가 최소절대편차(LAD) 추정과 동일한 일치성을 보이며 계산 효율성이 뛰어나다는 점을 강조한다. 특히 1차 자기회귀와 무작위 보행(랜덤 워크) 모형에 적용하고, 부트스트랩을 이용한 단위근 검정 절차를 제시한다. 시뮬레이션 결과, 제안 방법이 기존 LAD와 비교해 유의 수준 유지와 검정력 측면에서 우수함을 확인하였다.

상세 분석

이 연구는 전통적인 최소절대편차(LAD) 추정이 무거운 꼬리를 가진 혁신(innovation) 분포, 즉 무한분산을 갖는 경우에도 강건성을 제공하지만, 계산 복잡도와 부트스트랩 재표본화 과정에서의 비효율성이 문제점으로 지적된다. 저자는 이러한 한계를 극복하기 위해 가중 최소제곱(Weighted Least Squares, WLS) 절차를 설계한다. 핵심 아이디어는 각 관측치에 대한 가중치를 오차의 절대값에 대한 역수 형태로 설정함으로써, 큰 오차가 가중치에 의해 억제되고 작은 오차는 상대적으로 강조되는 구조를 만든다. 이때 가중치는 표본 크기가 커짐에 따라 점차적으로 실제 절대값에 근접하도록 설계되어, 대수적(large‑sample) 수준에서 WLS 추정량이 LAD 추정량과 동일한 확률적 극한 분포를 갖는다는 정리를 증명한다.

이론적 증명은 두 단계로 진행된다. 첫째, 가중치 함수가 오차의 절대값을 정확히 반영하도록 하는 조건을 수학적으로 명시하고, 이 조건 하에서 WLS 목적함수가 LAD 목적함수와 1차 근사 수준에서 일치함을 보여준다. 둘째, 무한분산을 갖는 α‑stable 분포(1<α<2)와 같은 중첨도(heavy‑tailed) 혁신에 대해, 표본 평균과 가중 평균의 차이가 O_p(n^{-1/2}) 수준으로 수렴함을 이용해 점근적 정규성을 확보한다. 결과적으로, WLS는 기존 LAD와 동일한 강건성을 유지하면서도, 선형 회귀식의 일반적인 최소제곱 해법을 그대로 활용할 수 있어 계산 복잡도가 O(p^2)에서 O(p) 수준으로 크게 감소한다.

실증 부분에서는 1차 자기회귀(AR(1)) 모형과 무작위 보행(random walk) 모형을 대상으로 시뮬레이션을 수행한다. 혁신은 α‑stable 분포와 t‑분포(자유도 ν=3) 등 무한분산 혹은 높은 첨도를 가진 분포를 사용한다. 각 시나리오에서 (i) 전통적인 OLS, (ii) LAD, (iii) 제안된 WLS 추정량을 비교하고, (iv) 부트스트랩을 통한 단위근 검정(power, size) 성능을 평가한다. 결과는 다음과 같다. 첫째, OLS는 큰 오차에 민감해 편향이 심하고, 검정 크기가 크게 왜곡된다. 둘째, LAD는 편향이 적지만 부트스트랩 재표본화 시 반복 계산이 필요해 실행 시간이 급증한다. 셋째, WLS는 편향과 분산 면에서 LAD와 거의 동등하며, 부트스트랩 과정에서도 OLS와 동일한 선형 연산 구조를 유지하므로 실행 시간이 크게 단축된다. 특히 단위근 검정에서 WLS 기반 부트스트랩은 명목 수준을 정확히 유지하면서도 10%~15% 정도 높은 검정력을 보였다.

또한, 저자는 가중치 선택에 대한 실용적인 가이드라인을 제시한다. 초기 단계에서는 오차의 절대값을 추정하기 위해 OLS 잔차를 사용하고, 이를 기반으로 가중치를 계산한다. 이후 반복적인 재가중치 과정(iteratively re‑weighted least squares, IRLS)을 적용하면 가중치가 점차 안정화되어 최종 추정량이 수렴한다. 이 과정은 수렴 기준을 잔차 변화율 10^{-6} 이하로 설정하면 보통 5~7회 반복으로 충분히 수렴한다.

전체적으로 이 논문은 무한분산 혁신을 가진 시계열 모형에서 LAD의 강건성을 유지하면서도 계산 효율성을 크게 향상시키는 실용적인 방법론을 제공한다. 특히 대규모 데이터와 다변량 회귀 상황에서 부트스트랩 기반 가설 검정이 필요한 경우, 제안된 WLS‑부트스트랩 조합이 현존하는 방법들보다 우수한 성능을 보임을 실증적으로 입증한다.