호모데니소바와 현대인 유전체 스펙트럼 분석 및 계층적 공통조상 모델 연구

이 논문은 2010년대 초에 공개된 고대 인류(데니소바와 네안데르탈)와 현대인 5종(산, 요루바, 프랑스, 한, 파푸아)의 전유전체 데이터를 활용해, 인구유전학적 교류와 인구 규모를 보다 정밀하게 추정하는 새로운 통계 모델을 개발하고 적용하였다. 연구 배경으로는 Green et al.(2010)와 Reich et al.(2010, 2011) 등에서 제시된 2–5% 수준의 네안데르탈 유전자 흐름과 파푸아 인구에 대한 약 5%의 데니소바 유전자 흐름이 있다. 그러나 기존 분석은 주로 무한 부위 모델에 의존했으며, 높은 시퀀싱 오류율(특히 네안데르탈 데이터)과 다중 치환에 대한 보정이 부족했다는 한계가 있었다. 저자들은 이러한 문제점을 해결하기 위해, (1) 전이 변이를 배제하고 전이 변이만을 사용해 오류를 최소화, (2) 각 염기 자리의 파생 상태를 0/1 이진 코드로 변환해 2‑state 패턴을 구성, (3) 패턴 빈도 행렬을 기반으로 대응분석(CA)과 하다마드 변환을 수행, (4) 무한 부위 모델에서 기대되는 내부 가지 길이를 Hudson(1993)과 Waddell(1995)의 적분식으로 계산하고, (5) 1차 마코프 전이 행렬과 감마 분포, 불변 부위 비율을 이용해 다중 치환을 보정하는 유한 부위 모델을 구축하였다. 분석 파이프라인은 다음과 같다. 먼저, BWA와 ANFO를 이용해 각 인간 샘플과 고대 인류 시퀀스를 침팬지 기준 유전체에 정렬하였다. 각 염기 자리마다 최소 한 개 이상의 고품질 리드가 모든 7개의 샘플에 존재해야 패턴을 기록했으며, 다중 리드가 있을 경우 무작위로 하나를 선택했다. 이렇게 얻은 데이터는 염색체별·랜덤 블록별로 분리되어, Microsoft Excel, R, Perl 스크립트 등을 이용해 동질성 검정, 거리 행렬 계산, PAUP*와 SplitsTree4를 통한 트리·네트워크 시각화, 그리고 CA 패키지를 이용한 대응분석을 수행하였다. 모델 적합도 평가는 로그우도와 Akaike Information Criterion(AIC)를 사용했으며, 네 단계의 모델을 순차적으로 비교하였다. (1) 기본 무한 부위 모델은 단일 교류 사건만 허용했으며, 파푸아와 데니소바 사이의 교류 비율을 과대 추정하는 경향이 있었다. (2) 유한 부위 보정을 추가한 모델은 다중 치환을 고려함으로써 교류 비율을 약 3% 수준으로 낮추었다. (3) 레트리케이트 구조를 도입해 두 개 이상의 교류 경로를 허용했으며, 파푸아에 대한 남성 편향 교류가 5% 정도임을 확인했다. (4) 최종 계층적 공통조상 모델은 각 교류 사건을 시간적 파라미터(분기 시점)와 인구 규모(효율적 개체수)와 연결시켰으며, 가장 높은 적합도를 보였다. 주요 결과는 다음과 같다. 첫째, 파푸아 인구는 데니소바와의 남성 편향 교류가 약 5% 존재한다는 증거가 강하게 나타났다. 이는 Y‑염색체 기반 연구와 일치한다. 둘째, 네안데르탈과의 교류는 단일 사건으로 충분히 설명될 수 있었으며, 두 번 교류한다는 가설은 유한 부위 모델 적용 시 통계적으로 의미가 사라졌다. 셋째, 전체 인구 규모 추정값은 기존 연구보다 약간 낮게 나오며, 특히 아프리카 외부 인구(프랑스·한·파푸아)의 효율적 개체수가 10,000–20,000 수준으로 추정되었다. 넷째, 모델이 복잡해질수록 로그우도는 크게 증가했지만, AIC는 과도한 파라미터 증가를 억제하며 최적 모델을 선택하도록 했다. 논문의 의의는 두 가지이다. 첫째, 무한 부위 모델의 한계를 보완하고, 실제 시퀀싱 오류와 다중 치환을 정량적으로 교정함으로써 인구역사 추정의 정확성을 크게 향상시켰다. 둘째, 레트리케이트·계층적 공통조상 모델을 통해 고대 인류 간 복합적인 교류 시나리오를 정량화할 수 있는 프레임워크를 제공했다. 이는 향후 더 많은 고대 유전체와 현대 인구 데이터를 통합 분석하는 데 중요한 기반이 될 것이다.