조상 최대우도법의 수축 현상

초록

조상 최대우도법(AML)은 트리와 조상 서열을 동시에 추정하지만, 짧은 내부 가지를 점점 짧게 만들어 결국 내부 구조가 사라지는 통계적 불일치 현상을 보인다. 본 논문은 이를 일반적인 정리로 증명하고, AML이 모든 종 수에 대해 일관성을 갖지 않음을 보여준다.

상세 분석

조상 최대우도법(AML)은 전통적인 최대우도(ML)와 달리 각 사이트마다 가능한 조상 서열을 평균하지 않고, 전체 데이터에 대해 하나의 최적 조상 서열과 트리를 동시에 찾는다. 이때 가지 길이는 모든 사이트에 대해 동일하게 고정되며, 최적화 과정에서 짧은 내부 가지가 점점 더 짧아지는 ‘수축(shrinkage)’ 현상이 발생한다. 논문은 먼저 AML이 마코프 모델 하에서 정의된 로그우도 함수를 최소화한다는 점을 명시하고, 이후 짧은 내부 가지가 존재하는 경우 해당 가지를 0에 가깝게 만들면 전체 로그우도가 감소한다는 수학적 부등식을 제시한다. 핵심 정리는 “어떠한 트리라도 내부 해상도가 없는 별형 트리(star tree)와 동일한 로그우도를 가질 수 있다”는 것으로, 이는 데이터 길이가 무한히 길어질 때 AML이 내부 구조를 복원하지 못하고 별형 트리로 수축한다는 의미다. 증명은 크게 두 단계로 나뉜다. 첫째, 각 사이트별 최적 조상 서열이 동일한 가지 길이 제약 하에서 어떻게 변하는지를 분석하고, 둘째, 짧은 내부 가지를 0에 가깝게 만들면 전체 우도 함수가 비감소함을 보인다. 이 과정에서 ‘연속성 가정’과 ‘균등한 변이율’ 등 마코프 모델의 기본 가정을 활용한다. 결과적으로 AML은 데이터 양이 충분히 커져도 올바른 토폴로지를 수렴하지 않으며, 특히 짧은 내부 가지가 존재하는 경우 내부 해상도가 완전히 사라지는 통계적 불일치를 보인다. 이는 기존 문헌에서 비공식적으로 언급되던 문제를 엄밀히 증명한 최초의 연구라 할 수 있다.