긴 가지와 대규모 계통수 추정 언제까지 가능할까

초록

본 논문은 GTR(General Time Reversible) 모델 하에서 가지 길이가 길어질 때 필요한 서열 길이와 계통수 복원 가능성을 분석한다. 저자들은 Kesten‑Stigum(KS) 경계보다 약간 긴 구간에서도 로그 규모의 서열만으로 정확한 복원이 가능함을 보이고, KS 경계와 최대우도(ML) 임계값 사이에 존재하는 “재구성 가능 구간”을 제시한다. 또한 임계값을 초과하는 경우에는 다항식 규모의 서열이 필요함을 증명한다.

상세 분석

이 연구는 기존 CFN(이진 대칭) 모델에서 밝혀진 “log n ↔ poly n” 전이 현상을 GTR 모델로 일반화한다는 점에서 의미가 크다. GTR은 염기 교환률을 4×4 행렬 Q로 표현하는 가장 일반적인 마코프 모델이며, 각 염기쌍에 서로 다른 전이 확률을 허용한다. 이러한 일반성 때문에 KS 경계(즉, 2‑state 모델에서 전이 확률의 제곱 평균이 1/2 이하인 경우)와 ML 임계값(ancestral reconstruction이 가능한 최대 가지 길이) 사이에 격차가 발생한다는 것이 알려져 있었다. 저자들은 먼저 대칭적인 Q 행렬을 선택해, 전이 확률이 모든 염기쌍에 대해 동일하지만 상태 수가 4인 경우를 고려한다. 이 경우 KS 경계는 기존 2‑state 모델의 ½ 제곱근에 해당하는 값 γ_KS로 정의된다.

논문의 핵심 기여는 두 가지이다. 첫째, γ_KS보다 약간 큰 구간 (γ_KS, γ_ML) 에서도 O(log n) 길이의 서열만으로 정확한 트리 복원이 가능함을 보이는 알고리즘을 제시한다. 이 알고리즘은 (i) 각 내부 노드의 조건부 확률을 추정하기 위해 “거리‑기반” 방법과 “분할‑정복” 전략을 결합하고, (ii) 추정된 확률을 이용해 “쿼터니언 변환” 형태의 선형 회귀를 수행함으로써 노드 간의 상관관계를 복원한다. 중요한 점은, 이 과정에서 필요로 하는 샘플 복원 정확도가 γ_KS < γ < γ_ML 구간에서도 충분히 높은데, 이는 GTR 모델의 고유값 구조가 KS 경계 이하에서만이 아니라 그 위에서도 일정 수준의 신호‑대‑노이즈 비율을 유지하기 때문이다.

둘째, γ_ML을 초과하는 경우에는 어떤 알고리즘을 사용하더라도 다항식 규모의 서열이 필요함을 정보이론적 하한으로 증명한다. 저자들은 Fano의 불등식과 상호정보량을 이용해, 서열 길이가 o(n^c) (c < 1) 일 때는 서로 다른 트리 구조를 구분할 확률이 1/2 이하가 됨을 보인다. 이는 “long‑branch attraction” 현상이 통계적으로 불가피함을 수학적으로 뒷받침한다.

이러한 결과는 (1) KS 경계가 반드시 복원 가능성의 최종 한계가 아니라는 점, (2) GTR 모델에서 실제 생물학적 데이터가 종종 KS 경계보다 약간 큰 가지 길이를 갖는 경우에도 효율적인 알고리즘이 존재한다는 점, (3) 반대로 너무 긴 가지는 근본적으로 복원 불가능하다는 점을 명확히 구분한다. 따라서 실험 설계 시 서열 길이와 기대되는 진화 거리 사이의 트레이드오프를 보다 정밀하게 조정할 수 있다.