단일 1차원 상황에서 최적 추정기를 정의할 수 있을까

초록

표본 수가 적을 때 규모 파라미터를 추정하는 세 가지 대표적인 추정법(MLE, MOM, 베이지안 평균)은 결과가 크게 달라진다. 그러나 데이터를 로그 변환해 규모 파라미터를 위치 파라미터로 바꾸면 사전 정보가 없을 경우 세 추정법이 동일한 값을 제공한다는 점을 논한다.

상세 분석

본 논문은 “규모 파라미터(예: 표준편차, 스케일 파라미터)”와 “위치 파라미터(예: 평균)” 사이의 변환이 추정기의 성능에 미치는 영향을 1‑차원 사례에 한정해 정량적으로 분석한다. 먼저, 표본이 매우 적은 상황(특히 n = 2~5)에서 세 가지 전통적인 추정법—최우도추정(MLE), 모멘트법(MOM), 그리고 비정보적 사전(prior)이 없는 베이지안 사후 평균—을 각각 적용한다. 규모 파라미터 θ에 대해 데이터가 양의 실수값을 갖는 지수분포 혹은 로그정규분포를 따른다고 가정하면, MLE는 θ̂_MLE = (1/n)∑x_i (또는 그 변형) 형태로 편향이 크게 나타난다. MOM는 이론적 모멘트와 표본 모멘트를 일치시키는 방식으로 θ̂_MOM = √( (1/n)∑(x_i−\bar{x})^2 ) 등으로 구해지며, 작은 표본에서는 분산이 과소평가되는 경향이 있다. 베이지안 추정은 사전이 없을 경우 사후 평균이 MLE와 거의 동일해지지만, 사전을 조금이라도 부여하면 결과가 급격히 변한다. 이러한 차이는 모두 “규모”라는 특성 자체가 로그 변환에 의해 “위치”로 전환될 때 완화된다. 로그 변환 y_i = log x_i 를 적용하면, 원래의 규모 파라미터 θ는 μ = E