감마 분포율을 갖는 마코프 진화 모델의 식별 가능성

본 연구는 분자계통학에서 가장 널리 사용되는 연속시간 마코프 모델인 GTR(General Time Reversible) 모델에 감마 분포율 이질성(Gamma‑distributed rates)을 결합한 GTR+Γ 모델의 식별 가능성을 엄밀히 분석한다. 식별 가능성은 관측된 데이터(트리 말단의 서열)만으로 모델 파라미터와 트리 구조를 고유하게 복원할 수 있는지를 묻는 근본적인 질문이며, 통계적 추정 방법의 일관성을 보장하기 위한 전제조건이다. 1. **모델 정의와 파라미터** - **트리 T**: 내부 정점의 차수가 최소 3인 비정규화된 토폴로지, 잎은 관측된 종을 나타낸다. - **엣지 길이 t_e**: 양의 실수(내부 엣지는 >0, 말단 엣지는 0도 허용)이며, 전체 거리의 단위는 평균 변이율 1로 정규화한다. - **상태분포 π**: κ 상태(예: DNA는 κ=4)의 정규화된 확률벡터이며, 마코프 과정의 정 stationary distribution이다. - **전이율 행렬 Q**: 비대각 원소 q_{ij}>0, 행합이 0이며, diag(π)Q가 대칭인 가역성을 만족한다. 고유값은 0=λ_1>λ_2≥…≥λ_κ이며, 실수 고유벡터 행렬 U 로 대각화 가능하다. - **감마 분포 µ**: 평균 1, 형태 파라미터 α>0(스케일 β=1/α) 로 정의된 연속적인 속도 분포. 각 사이트의 변이율 r은 µ에서 샘플링되고, 실제 전이율은 rQ가 된다. 2. **문제 설정** 관측은 트리 말단의 상태 조합이며, 이는 각 사이트에 대해 r에 대한 적분을 통해 얻어진 확률 텐서 P = ∫ P_r dµ(r) 로 표현된다. 목표는 P만으로 (T, t_e, π, Q, α)를 복원할 수 있는가를 판단하는 것이다. 3. **식별 가능성의 주요 정리** - **Theorem 1**: κ‑state GTR+Γ 모델은 3개 이상의 잎을 가진 임의의 트리에서, “generic” 파라미터(특정 다항식이 0이 아닌 경우)라면 식별 가능하다. κ=4(DNA) 경우에는 모든 파라미터에 대해 식별 가능함을 보인다. - “generic”는 Lebesgue 측면에서 전체 파라미터 공간의 측정이 0인 예외 집합을 제외한다는 의미이며, 구체적인 예외 조건은 Theorem 2에 명시된다. 4. **증명 전략** - **3‑택소 트리로 환원**: Lemma 1에 의해 n‑택소 경우는 모든 3‑택소 주변화 마진을 이용해 동일한 파라미터를 복원할 수 있음을 보인다. 따라서 3‑택소 트리만을 고려하면 충분하다. - **알gebraic 단계**: 2‑택소 마진으로부터 P = diag(π)·U·diag(L(λ_i t_e))·U^{-1} 를 얻는다. 여기서 L(u)=E