긴 가지 끌어당김이 초래하는 종트리 추정의 일관성 붕괴

초록

이 논문은 각 유전자 구간의 서열 길이가 제한될 때, 전통적인 완전 분할 최대우도법과 최신 요약 방법(요약 트리, 가중 통계적 빈딩 포함)이 종트리 추정에서 통계적 일관성을 잃고 오히려 잘못된 트리를 지속적으로 선택한다는 것을 증명한다. 핵심 원인은 제한된 데이터에서 발생하는 ‘긴 가지 끌어당김(long‑branch attraction)’ 현상이다.

상세 분석

본 연구는 다중 유전자 데이터에서 종트리를 추정할 때 흔히 가정되는 “무한히 긴 서열” 조건을 완화하고, 각 유전자 구간의 서열 길이가 임의의 유한값 L 로 고정된 상황을 분석한다. 모델은 MSC+CFN(다종 공통 조상(coalescent) 모델에 두 상태 대칭 변이 모델을 결합)이며, 이는 실제 뉴클레오타이드 모델(JC, GTR 등)에도 쉽게 확장될 수 있다.

첫 번째 주요 결과는 완전 분할 최대우도(Partitioned ML) 방법이 L이 고정된 경우 통계적으로 일관적이지 않다는 정리(정리 1)이다. 저자들은 네 종 트리(ab|cd)를 Felsenstein zone 형태로 설정하고, 각 유전자 구간이 독립적으로 동일한 종트리 위에서 진화하도록 하면서도, L이 충분히 작으면 최대우도 추정이 실제 종트리와 반대되는 위상(ab|cd 대신 ac|bd)을 거의 확률 1에 가깝게 선택한다는 것을 보였다. 이는 전통적인 “분할되지 않은” 합성 분석이 일관성 결여를 보이는 것과는 달리, 각 구간마다 별도 분기를 허용하더라도 긴 가지 끌어당김 현상이 여전히 지배적임을 의미한다.

두 번째로, 트리 위상만을 이용하는 요약 방법(예: ASTRAL, MP‑EST, NJst 등)이 “합리적”(reasonable)이라 정의된 조건 하에, 동일한 L 제한 하에서 일관성을 상실한다(정리 2). 저자들은 4종 경우에 요약 방법이 가장 빈번히 나타나는 쿼터트 트리를 선택한다는 가정을 두고, 각 유전자 트리의 최대우도 추정이 위에서 언급한 잘못된 위상을 과도하게 생성함을 증명한다. 결과적으로, 무한히 많은 유전자 구간을 사용하더라도, 각 구간이 짧으면 요약 방법이 실제 종트리와 다른 위상을 거의 확률 1에 수렴한다.

세 번째 결과는 가중 통계적 빈딩(Weighted Statistical Binning, WSB) 파이프라인이 동일한 제한 조건에서 일관성을 유지하지 못한다는 정리(정리 3, 4)이다. 특히, 각 구간에 단일 사이트만 존재할 때, 빈딩 과정에서 서로 다른 유전자 트리들이 동일한 “지원 임계값 B” 이하로 묶여 버려, 최종적으로 평평한 트리 분포가 형성된다. 이를 그대로 요약 방법에 입력하면, 실제 종트리와 무관한 결과가 도출된다. 저자들은 빈딩 전 단계에서 지원이 전혀 없는 유전자 트리를 제거하는 WSB* 변형조차도, 특정 B와 트리 파라미터 설정에 따라 오히려 잘못된 위상을 확률 1에 가깝게 선택한다는 것을 보였다.

핵심 통찰은 “긴 가지 끌어당김” 현상이 단순히 데이터 양이 부족할 때만 발생하는 것이 아니라, 각 유전자 구간의 서열 길이가 제한될 때는 데이터 양이 아무리 많아도 근본적인 편향을 초래한다는 점이다. 이는 기존 일관성 증명들이 “유전자당 무한히 많은 사이트”라는 비현실적인 가정을 필요로 함을 드러내며, 실제 유전체 연구에서 흔히 마주치는 짧은 비재조합 구간(recombination‑free loci)에서는 현재 널리 사용되는 방법들이 근본적으로 신뢰할 수 없음을 경고한다.

이러한 결과는 종트리 추정 방법론에 몇 가지 중요한 시사점을 제공한다. 첫째, 방법 설계 시 “데이터 길이(L) → ∞” 가정이 아니라, 실제 실험 설계에서 기대되는 L 값을 명시적으로 고려해야 한다. 둘째, 요약 방법에 입력되는 유전자 트리의 정확도가 전체 추정에 미치는 영향이 과도하게 크므로, 트리 추정 단계 자체를 개선하거나, 트리 위상 외의 추가 정보를 활용하는 새로운 통계적 프레임워크가 필요하다. 셋째, 현재의 빈딩 전략은 지원 임계값에 크게 의존하므로, 보다 정교한 불일치 그래프 구축 혹은 베이지안적 통합 접근법이 요구된다. 마지막으로, 긴 가지 끌어당김을 완화하기 위한 모델 기반 교정(예: 장거리 가지에 대한 가중치 조정, 변이율 이질성 모델링) 등이 향후 연구 과제로 남는다.

전반적으로 이 논문은 “유전자당 서열 길이가 제한된 현실적인 상황”에서 종트리 추정이 얼마나 취약한지를 수학적으로 명확히 규명했으며, 기존 방법들의 한계를 드러내는 동시에 새로운 이론·방법 개발의 필요성을 강력히 제시한다.