프리트레인 임베딩의 한계와 AAV 벡터 생존성 예측

초록

본 연구는 ProtBERT와 ESM2 기반 임베딩을 다양한 변형으로 비교하여, AAV 캡시드 단백질의 국소 변이 데이터셋에서 생존성 예측 성능을 평가한다. 미세 조정 없이 amino‑acid 수준 임베딩이 감독 학습에서 우수했으며, 전체 시퀀스 임베딩은 비감독 학습에 강점을 보였다. 최종적으로 태스크‑특화 라벨을 이용한 미세 조정이 가장 높은 정확도를 제공한다.

상세 분석

이 논문은 단백질 설계에서 흔히 마주치는 ‘소수·국소 변이’ 문제를 다루기 위해, 사전 학습된 언어 모델(ProtBERT, ESM2)의 임베딩을 세부적으로 분류하고 그 효용을 실험적으로 검증한다. 먼저 전처리 단계에서 전통적인 원-핫 인코딩(OHE)을 베이스라인으로 설정하고, 두 모델에서 추출 가능한 세 가지 임베딩 형태—글로벌 시퀀스 임베딩(CLS 토큰), 아미노산 평균 임베딩, 그리고 ProtBERT에 한정된 프로젝션 임베딩—를 정의한다.

비감독 학습에서는 계층적 군집(HAC)과 t‑SNE 시각화를 활용해 임베딩이 생존성(viable vs non‑viable) 및 설계 전략(ML‑based vs non‑ML)과 얼마나 잘 구분되는지를 평가한다. 결과는 OHE가 거리 척도에서 가장 큰 변동을 보이며 다수의 클러스터를 형성하는 반면, 임베딩 기반 표현은 전체적으로 거리값이 작고 클러스터 수가 제한적이다. 특히, 모든 임베딩이 설계 전략에 대한 군집화는 어느 정도 가능했지만, 생존성에 대한 명확한 구분은 이루지 못했다. 프로젝션 임베딩은 가장 낮은 구분력을 보여, 단순 CLS 토큰보다 추가적인 비선형 변환이 오히려 정보를 희석시킬 수 있음을 시사한다.

감독 학습에서는 로지스틱 회귀와 랜덤 포레스트, 심층 신경망을 적용해 각 임베딩의 예측 정확도를 비교한다. 여기서 눈에 띄는 점은, 미세 조정 없이도 아미노산 수준 평균 임베딩이 가장 높은 AUC와 정확도를 기록했다는 것이다. 이는 국소 변이가 전체 시퀀스 맥락보다 개별 잔기의 특성에 더 크게 의존한다는 가설을 뒷받침한다. 반면, 전체 시퀀스 임베딩은 미세 조정 전에는 상대적으로 낮은 성능을 보였지만, 라벨을 이용한 파인튜닝 후에는 최고 성능을 달성한다. 파인튜닝 과정에서는 모델의 마지막 레이어를 재학습하거나 전체 네트워크를 저학습률로 미세 조정하는 두 가지 전략을 사용했으며, 특히 전체 시퀀스 CLS 임베딩을 파인튜닝했을 때 성능 향상이 가장 크게 나타났다.

데이터셋 자체는 AAV2 캡시드의 735아미노산 중 561–588 구간(약 27잔기)만을 변이시킨 29,300여 개의 변이체를 포함한다. 이 구간은 바이러스의 조직 친화성, 면역 회피성, 안정성 등에 핵심적인 역할을 하므로, 작은 변이가 큰 기능적 변화를 일으킬 수 있다. 논문은 이러한 특수한 데이터 특성이 기존 대규모 변이 스캔(전 단백질에 걸친 단일 변이)이나 고밀도 지역 변이(짧은 구간에 다중 변이)와는 다른 도전 과제를 제공한다는 점을 강조한다.

결론적으로, 사전 학습된 임베딩은 그 자체만으로는 국소 변이 데이터에 충분히 민감하지 않으며, 태스크‑특화 라벨을 활용한 파인튜닝이 필수적이다. 또한, 아미노산 수준 임베딩이 감독 학습에서 강점을 보이는 반면, 전체 시퀀스 임베딩은 비감독 탐색 단계에서 유용하게 활용될 수 있다. 이러한 결과는 향후 단백질 엔지니어링, 특히 제한된 변이 영역을 다루는 바이러스 벡터 설계에 있어 임베딩 선택과 파인튜닝 전략을 설계하는 데 실질적인 가이드라인을 제공한다.