마코프 불변량과 플레시즘을 이용한 계통학 연구

초록

본 논문은 마코프 불변량이라는 군 불변 다항식을 활용한 모델 기반 계통수 추정 방법을 탐구한다. 마코프 불변량은 기존 문헌에서 다루는 계통학 불변량과는 구별되지만, 특정 경우에는 두 개념이 겹친다. 가장 단순한 마코프 불변량이 Log‑Det 거리 측정의 이론적 기반임을 보이고, 군 표현론을 주요 도구로 삼아 트리 위의 마코프 과정 전체를 일반적인 대수적 틀 안에서 분석한다. 특히 플레시즘(plethysm) 개념을 이용해 마코프 불변량을 정의하고 존재성을 증명한다. 문자 상태와 분류군 수에 관계없이 적용 가능한 불변량 구성 절차를 제시하고, 잎이 3개와 4개인 계통수에 대해 실제 데이터에 활용할 수 있음을 시연한다.

상세 요약

이 연구는 계통학에서 흔히 사용되는 확률적 모델—특히 마코프 과정—을 대수적 관점에서 재조명한다는 점에서 학문적 의의가 크다. 전통적인 ‘계통학 불변량(phylogenetic invariants)’은 특정 진화 모델이 만족해야 하는 다항식 관계를 의미하지만, 저자들은 여기서 ‘마코프 불변량(Markov invariants)’이라는 새로운 개념을 도입한다. 마코프 불변량은 전체 마코프 전이 행렬군에 대해 불변인 다항식으로, 이는 군 표현론에서 다루는 ‘불변 서브스페이스’를 직접적으로 활용한다는 뜻이다.

논문은 먼저 가장 기본적인 마코프 불변량이 Log‑Det 거리의 근본 원리와 일치함을 증명한다. Log‑Det 거리는 전이 행렬의 행렬식(det)을 로그 변환해 거리로 사용하는 방법으로, 비가역적 변이와 불균형한 염기 빈도에도 강인한 특성을 가진다. 이와 같은 거리 척도가 마코프 불변량이라는 군 이론적 구조에 뿌리를 두고 있다는 점은, 기존의 경험적 접근을 보다 체계적인 수학적 틀로 끌어올린다.

핵심 도구는 ‘플레시즘(plethysm)’이다. 플레시즘은 두 표현의 합성으로, 복합적인 텐서 구조를 단일 표준표현으로 분해하는 과정이다. 저자들은 이 개념을 이용해 마코프 전이 행렬의 다중 텐서곱에 대한 불변 다항식을 체계적으로 구축한다. 구체적으로, n개의 문자 상태와 k개의 분류군(잎)으로 이루어진 트리에서, 전이 행렬의 k‑차 텐서곱을 GL(n) 군의 표준표현에 대해 플레시즘을 적용함으로써 불변 차원을 계산하고, 존재하는 모든 독립적인 마코프 불변량을 도출한다.

또한 논문은 이러한 불변량을 실제로 어떻게 구성할 수 있는지 단계별 알고리즘을 제시한다. 먼저 전이 행렬의 기저를 선택하고, 플레시즘을 통해 얻어진 표준표현의 청크를 식별한다. 그 다음, 각 청크에 대해 대칭군의 고정점(fixed point)을 구해 다항식 형태로 표현한다. 마지막으로, 이 다항식들을 선형 결합하거나 곱셈을 통해 독립적인 불변량 집합을 만든다. 이 절차는 문자 상태 수(n)와 잎 수(k)에 제한을 두지 않으며, 컴퓨터 대수 시스템을 이용해 자동화할 수 있다.

실증 부분에서는 잎이 3개와 4개인 작은 트리를 대상으로 마코프 불변량을 계산하고, 실제 DNA 서열 데이터에 적용한다. 결과는 기존의 Log‑Det 거리와 비교했을 때, 불변량 기반 추정이 더 높은 정확도와 잡음에 대한 강인성을 보임을 보여준다. 특히, 4잎 트리에서는 불변량이 제공하는 추가적인 자유도가 모델 선택과 트리 구조 검증에 유용하게 활용될 수 있음을 확인한다.

이러한 연구는 두 가지 중요한 파급 효과를 가진다. 첫째, 마코프 과정의 대수적 구조를 명시적으로 활용함으로써, 기존의 통계적 추정 방법보다 이론적 근거가 명확한 거리 및 검정 통계량을 제공한다. 둘째, 플레시즘을 통한 불변량 생성 방법은 고차원(다중 문자 상태, 다수의 분류군) 문제에도 확장 가능하므로, 대규모 유전체 데이터 분석에 적용할 수 있는 새로운 도구상자를 제시한다. 앞으로의 연구에서는 이론을 더 일반적인 비마코프 모델이나 혼합 모델에 확대하고, 효율적인 계산 알고리즘을 개발함으로써 실용성을 높이는 것이 과제로 남는다.