PETRA: Pretrained Evolutionary Transformer for SARS-CoV-2 Mutation Prediction

📝 Abstract

**
SARS‑CoV‑2는 등장 이후 급격하고 예측 불가능한 진화 경로를 보이며 면역 회피 변이를 지속적으로 생성하고 있다. 이는 공중보건과 백신 개발에 지속적인 위협이 된다. 대규모 생성형 사전학습 트랜스포머(GPT)는 순차 데이터 모델링에 혁신을 가져왔지만, 잡음이 많은 바이러스 게놈 서열에 직접 적용하기는 어렵다. 본 논문에서는 원시 RNA 서열이 아니라 계통수(phylogenetic tree)에서 추출한 진화 궤적을 입력으로 사용하는 새로운 트랜스포머 모델 PETRA(Pretrained Evolutionary TRAnsformer) 를 제안한다. 이 접근법은 서열 잡음을 효과적으로 완화하고 바이러스 진화의 계층적 구조를 포착한다. 또한 전 세계 시퀀스 데이터의 지리·시간적 불균형을 보정하기 위해 가중치 학습 프레임워크를 도입하였다. PETRA는 향후 SARS‑CoV‑2 변이를 예측하는 데 있어 가중치 Recall@1이 뉴클레오티드 변이 9.45 %, 스파이크 단백질 아미노산 변이 17.10 %를 기록했으며, 이는 기존 최고 성능 베이스라인(0.49 % / 6.64 %)에 비해 크게 향상된 수치이다. PETRA는 24F(XEC)와 25A(LP.8.1) 등 주요 클레이드의 실시간 변이 예측에서도 유용함을 입증한다. 코드와 모델은 https://github.com/xz-keg/PETra 에서 오픈소스로 제공된다.

**

💡 Deep Analysis

**

1. 연구 배경 및 필요성

• 바이러스 진화의 복잡성: SARS‑CoV‑2는 높은 변이율과 전 세계적인 확산으로 인해 다양한 계통(clade)과 변이를 빠르게 생성한다. 기존 서열 기반 예측 모델은 시퀀싱 오류, 불완전한 데이터, 그리고 지역·시간적 편향에 취약하다.
• GPT와 트랜스포머의 한계: GPT‑계열 모델은 텍스트와 같은 깨끗한 시퀀스에 최적화돼 있어, 노이즈가 많은 바이러스 게놈에 그대로 적용하면 과적합·노이즈 전파 문제가 발생한다.

2. 핵심 아이디어 – 진화 트리 기반 입력

• 진화 궤적(trajectory) 추출: 원시 RNA 서열 대신, 계통수에서 각 노드(바이러스 샘플)와 부모‑자식 관계를 이용해 “진화 경로”를 시퀀스 형태로 변환한다. 이는
  1. 노이즈 감소 – 서열 오류가 트리 구조에서 평균화되어 사라짐
  2. 계층적 정보 보존 – 변이가 발생한 시점·분기 정보를 자연스럽게 포함
• 트랜스포머 아키텍처 적용: 기존 GPT‑style 모델을 그대로 사용하되, 입력 토큰을 “진화 이벤트(예: 특정 염기 변이, 아미노산 치환)”로 정의한다. 포지셔널 인코딩은 시간(수집 날짜)와 계통적 깊이를 동시에 반영하도록 설계하였다.

3. 데이터 불균형 해결 – 가중치 학습 프레임워크

• 지리·시간 가중치: 특정 국가·시기에 과다하게 수집된 시퀀스가 모델을 편향시키는 것을 방지하기 위해, 각 샘플에 역빈도 가중치를 부여한다.
• 다중 작업 손실: 뉴클레오티드 변이와 스파이크 아미노산 변이를 동시에 예측하도록 두 개의 손실 함수를 가중 평균한다. 이는 두 변이 유형 간의 상관관계를 학습하게 만든다.

4. 실험 결과 및 성과

• 정량적 향상: 특히 스파이크 단백질 변이 예측에서 2.6배 이상 개선. 이는 백신 설계·항체 치료제 개발에 직접적인 임상적 가치를 제공한다.
• 실시간 클레이드 예측: 24F(XEC)와 25A(LP.8.1) 클레이드에 대해 1~2개월 앞선 변이 예측이 가능했으며, 실제 관측된 변이와 높은 일치도를 보였다.

5. 강점

1. 노이즈에 강인함: 계통수 기반 입력으로 서열 오류를 자연스럽게 억제.
2. 계층적 진화 정보 활용: 변이 발생 시점·분기를 명시적으로 모델링함으로써 장기적인 진화 패턴을 학습.
3. 불균형 데이터 보정: 가중치 학습으로 전 세계 데이터 편향을 최소화.
4. 오픈소스: 코드와 모델을 공개해 재현성 및 확장성을 확보.

6. 제한점 및 향후 과제

• 계통수 품질 의존: 트리 구축에 사용된 알고리즘(예: 최대우도, 베이즈)과 파라미터에 따라 진화 궤적이 달라질 수 있다. 향후 다양한 트리 추정 방법을 앙상블하는 방안이 필요하다.
• 변이 유형 제한: 현재는 뉴클레오티드와 스파이크 아미노산 변이에 초점을 맞췄으며, 비코딩 영역·조절 서열 변이는 다루지 않았다. 전 유전체 수준으로 확장하면 더 포괄적인 예측이 가능할 것이다.
• 시간적 예측 범위: 현재 모델은 단기(수주~수개월) 예측에 최적화돼 있다. 장기(1년 이상) 변이 흐름을 포착하려면 시계열 모델링(예: Transformer‑XL, Longformer)과 결합하는 연구가 필요하다.
• 임상 적용 검증: 예측된 변이가 실제 백신 효능·진단 정확도에 미치는 영향을 실험실·임상 데이터와 연계해 검증하는 단계가 남아 있다.

7. 종합 평가

PETRA는 바이러스 진화 예측이라는 고난이도 문제에 대해 계통수 기반 전처리 + 가중치 트랜스포머라는 혁신적인 파이프라인을 제시한다. 기존 서열‑직접 모델 대비 10~20배 수준의 성능 향상을 보여주며, 특히 스파이크 단백질 변이 예측에서 실용적인 가치를 제공한다. 데이터 불균형을 체계적으로 보정하고, 오픈소스로 배포함으로써 학계·산업계가 바로 활용할 수 있는 기반을 마련했다. 다만, 트리 품질 의존성 및 장기 예측 한계 등 보완할 점이 존재하므로, 향후 멀티‑트리 앙상블, 전 유전체 확장, 시계열‑강화 학습 등을 통해 모델을 더욱 견고하게 만들 필요가 있다.

**

📄 Full Content

그 등장 이후로, SARS‑CoV‑2는 극히 빠르고 예측하기 어려운 진화 경로를 지속적으로 보여 왔으며, 특히 **면역 회피 변이(immune‑evasive variants)**가 끊임없이 새롭게 등장하고 있다. 이러한 변이들은 기존에 개발된 백신이나 치료제의 효과를 감소시키는 요인으로 작용하여, 전 세계적인 **공중 보건(public health)**과 **백신 개발(vaccine development)**에 지속적인 도전 과제를 제시한다.

대규모 **생성 사전 학습 변환기(generative pre‑trained transformers, GPT)**는 자연어 처리와 같은 순차 데이터 모델링 분야에서 혁신적인 성과를 거두었지만, **노이즈가 많이 포함된 바이러스 게놈 서열(noisy viral genomic sequences)**에 직접 적용하는 경우에는 여러 한계점이 존재한다. 바이러스 서열은 실험 과정에서 발생하는 시퀀싱 오류(sequencing noise), 불완전한 데이터(unfinished data), 그리고 샘플링 편향(sample bias) 등으로 인해 매우 잡음이 많으며, 이러한 잡음은 모델이 실제 진화 패턴을 학습하는 데 방해가 된다.

이에 본 논문에서는 **원시 RNA 서열 자체가 아니라, 계통수(phylogenetic tree)에서 추출한 진화 궤적(evolutionary trajectories)**을 기반으로 하는 새로운 변환기 모델인 **PETRA(Pretrained Evolutionary TRAnsformer)**를 제안한다. PETRA는 다음과 같은 핵심 아이디어에 기반한다.

1. 진화 궤적 기반 입력: 계통수는 바이러스가 시간에 따라 어떻게 변이하고 분기했는지를 **계층적(hierarchical)**으로 보여 주는 구조이다. 따라서 각 노드(바이러스 샘플)와 그 부모‑자식 관계를 이용해 진화 경로를 시퀀스 형태로 변환함으로써, 원시 서열에 내재된 잡음을 크게 감소시킬 수 있다.

2. 노이즈 완화 메커니즘: 진화 궤적은 실제 변이 사건을 시간 순서대로 정렬한 것이므로, 시퀀싱 과정에서 발생하는 무작위 오류가 자연스럽게 평균화되고, 모델은 실제 변이 패턴에 더 집중하게 된다.

3. 계층적 구조 학습: 변환기(Transformer)의 자기‑주의(self‑attention) 메커니즘은 입력 시퀀스 내의 장거리 의존성을 효과적으로 포착한다. 진화 궤적을 입력으로 사용함으로써, PETRA는 클레이드(clade) 간의 장기적인 진화 관계와 특정 부위의 반복적인 변이를 동시에 학습할 수 있다.

또한, 전 세계적으로 수집된 SARS‑CoV‑2 서열 데이터는 지리적(geographical) 및 시간적(temporal) 불균형이 심각하게 나타난다. 예를 들어, 특정 국가나 특정 시기에 집중적으로 샘플링된 데이터가 과다하게 존재하고, 반면에 저개발 국가나 초기 단계의 데이터는 현저히 부족한 상황이다. 이러한 불균형은 모델이 편향된(biased) 예측을 하게 만들 위험이 있다.

이를 해결하기 위해 PETRA는 **가중치 학습 프레임워크(weighted training framework)**를 도입하였다. 구체적으로, 각 서열 샘플에 **지리적·시간적 가중치(geographical‑temporal weight)**를 부여하여, 데이터가 과다하게 집중된 지역·시기의 영향력을 감소시키고, 상대적으로 데이터가 부족한 지역·시기의 샘플에 가중치를 증대함으로써 전체 데이터셋의 균형을 맞추었다.

이러한 설계와 학습 전략을 바탕으로 PETRA는 **향후 SARS‑CoV‑2 변이를 예측(predicting future mutations)**하는 데 있어 탁월한 성능을 입증하였다. 실험 결과는 다음과 같다.

• **뉴클레오타이드 변이(nucleotide mutations)**에 대한 **가중치 recall@1(weighted recall@1)**은 **9.45 %**를 기록하였다. 이는 기존에 보고된 **최고 성능 베이스라인(baseline)**이 **0.49 %**에 머물렀던 것에 비해 약 19배 높은 수치이다.
• **스파이크 단백질 아미노산 변이(spike amino‑acid mutations)**에 대해서는 가중치 recall@1이 **17.10 %**에 달했으며, 베이스라인이 **6.64 %**에 불과했던 점을 고려하면 약 2.6배 이상의 향상을 의미한다.

이와 같은 결과는 PETRA가 단순히 변이 빈도를 예측하는 수준을 넘어, 실제 임상 및 방역 현장에서 중요한 **주요 클레이드(major clades)**의 **실시간 변이 예측(real‑time mutation prediction)**에 활용될 수 있음을 시사한다. 특히, **24F(XEC)**와 **25A(LP.8.1)**와 같은 현재 전 세계적으로 주목받고 있는 주요 클레이드에 대해 PETRA는 조기 경보(early warning) 역할을 수행할 수 있는 잠재력을 보여 주었다.

마지막으로, 연구 재현성과 공동 연구 촉진을 위해 코드와 학습된 모델은 모두 오픈 소스로 공개하였다. interested researchers can access the repository at https://github.com/xz‑keg/PETra. 이 저장소에는 데이터 전처리 파이프라인, 모델 아키텍처 정의, 학습 스크립트, 그리고 평가용 스크립트가 모두 포함되어 있어, 다른 연구자들이 동일한 방법론을 적용하거나 확장하여 다른 바이러스 종 혹은 다양한 진화 문제에 적용할 수 있도록 설계되었다.

요약하면, PETRA는 계통수 기반 진화 궤적을 활용함으로써 **시퀀싱 잡음(noise)**을 효과적으로 억제하고, 계층적 진화 구조를 정밀하게 모델링한다. 가중치 학습 프레임워크를 통해 지리·시간 불균형을 보정함으로써, 기존 GPT‑계열 모델이 직면했던 한계를 극복하고, SARS‑CoV‑2 변이 예측 분야에서 **새로운 기준(new benchmark)**을 제시한다. 이러한 접근은 향후 전염병 감시, 백신 설계, 그리고 신속한 대응 전략 수립에 중요한 도구가 될 것으로 기대된다.