최대우도 이야기의 서사시

스티글러는 2007년 《통계학》에 실린 논문에서 최대우도법(Maximum Likelihood, ML)의 역사를 고대 사냥꾼의 직관에서 시작해 20세기 초반까지 이어지는 복잡한 서사를 제시한다. 서두에서 그는 “최대우도”라는 개념이 인간의 본능적 판단과 맞닿아 있음을 강조하며, 이를 ‘선사시대’의 선택 메커니즘에 비유한다. 이어 18세기 중반 라그랑주의 작업을 소개한다. 라그랑주는 관측값이 다항분포를 따른다고 가정하고, 관측 빈도가 확률을 추정하는 가장 가능성 높은 방법임을 증명했으며, 이는 오늘날 샘플 비율이 다항분포 파라미터의 최대우도 추정량이라는 사실과 일치한다. 라그랑주의 접근은 ‘대칭곡선 가정’ 뒤에 순간추정법을 도출하는 독특한 흐름을 보이며, 이후 베르누이의 두 단계적 접근을 연결한다. 베르누이는 처음에 가중 평균을 이용한 추정법을 제시했으며, 1778년에는 관측값의 밀도를 곱해 최대화하는 방식을 도입해 현재의 최대우도 개념을 독립적으로 재발견한다. 그러나 이때는 확률론적 정당성이 부족해 실제 적용에는 한계가 있었다. 1809년 가우스는 ‘정규오차’ 가정 하에 최소제곱법을 제시하고, 이를 ‘균일 사전’이라는 라플라스·베이즈적 사유와 연결한다. 가우스는 사전분포를 명시하지 않았지만, 정규분포 하에서 최소제곱 해가 최대우도 추정과 동일함을 보여, 이후 19세기 통계학 교과서에 ‘가우스 방법’으로 널리 퍼졌다. 19세기 말 피어슨과 필론은 다변량 관측의 일반적 설정을 제시하고, 로그우도 비율을 테일러 전개로 근사해 오류분포를 추정하려 했지만, 이는 최대우도 추정에만 타당함을 인식하지 못하고 모든 추정법에 적용하려다 실패한다. 이들의 작업은 피셔에게 중요한 영감을 주었다. 피셔는 1912년부터 정규표본의 표준편차 추정에 대한 연구를 시작했고, 1918년 ‘충분성(sufficiency)’ 개념을 도입했다. 1922년 발표한 ‘통계학 이론의 수학적 기초’에서는 세 가지 독립적인 증명을 통해 최대우도 추정이 충분통계량의 함수이며, 효율적(variance 최소)임을 보였다. 첫 번째 증명은 충분통계량 T와 다른 추정량 S가 이변량 정규분포를 이룰 때, 조건부 기대값을 이용해 ρ·σS/σT=1을 도출, 즉 σT≤σS임을 증명한다. 두 번째 증명은 피셔가 ANOVA(분산분석)에서 발전시킨 ‘정보불평등(information inequality)’을 재구성한다. 여기서는 파라미터에 대한 점근적 분산 하한을 제시하고, 최대우도 추정이 이를 달성함을 보인다. 세 번째 증명은 오일러의 동질함수 관계를 이용해 추정함수의 형태를 제한, 즉 추정량이 충분통계량의 함수임을 증명한다. 스티글러는 이 세 증명이 서로 다른 수학적 전통(분산분석, 베이즈, 동질함수)에서 출발했음에도 동일한 결론에 도달한다는 점을 강조한다. 또한, 호지스가 1951년에 제시한 ‘초효율(super‑efficient)’ 추정 예시를 통해 최대우도 추정이 항상 최적이 아니라는 사실을 상기시킨다. 초효율 추정은 특정 파라미터값에서 최대우도 추정보다 작은 점근적 분산을 갖지만, 전체 파라미터 공간에서는 비일관성을 초래한다. 스티글러는 이러한 사례들을 통해 최대우도법이 ‘전설적인’ 힘을 가졌음에도 불구하고, 실제 적용에서는 주의가 필요함을 역설한다. 논문의 마지막 부분에서는 피셔의 작업에 대한 동시대 학자들의 반응을 정리하고, 오늘날 통계학이 최대우도법을 어떻게 활용하고 있는지, 그리고 역사적 교훈(예: 충분성, 효율성, 정보불평등의 중요성)을 제시한다. 전체적으로 이 논문은 최대우도법의 발달 과정을 서사시적 구조로 재구성함으로써, 통계학의 근본 원리와 역사적 맥락을 동시에 조명한다.