규제 DNA 언어 모델 평가 벤치마크 DART‑Eval

초록

본 논문은 비코딩 규제 DNA에 특화된 대규모 DNA 언어 모델(DNALM)의 실용성을 평가하기 위해 DART‑Eval이라는 다섯 가지 과제와 세 가지 평가 방식(Zero‑Shot, Probing, Fine‑Tuning)을 포함한 벤치마크를 제시한다. 최신 DNALM 6종과 기존 ab initio 모델을 비교한 결과, 현재 DNALM은 일관된 우위를 보이지 않으며, 특히 변이 효과 예측과 같은 반사실(counterfactual) 과제에서 성능이 떨어진다. 또한 DNALM은 더 큰 연산 비용을 요구한다는 점이 강조된다. 논문은 데이터 정제, 모델 설계, 평가 프로토콜 개선을 통해 차세대 DNALM의 발전 방향을 제시한다.

상세 분석

DART‑Eval은 규제 DNA의 특성을 반영한 5개의 대표 과제(규제 엘리먼트 식별, TF 모티프 감도, 세포형 특이적 활성 예측, 정량적 활성 회귀, 변이 효과 예측)를 제시하고, 각 과제마다 Zero‑Shot(임베딩 평균 또는 likelihood 기반), Probing(고정된 DNALM 임베딩에 CNN 프로빙), Fine‑Tuning(LoRA 기반 저차원 어댑터) 세 가지 평가 방식을 적용한다. 평가 대상 모델은 인간 게놈 전역을 annotation‑agnostic하게 학습한 Caduceus, DNABERT‑2, GENA‑LM, HyenaDNA, Mistral‑DNA, Nucleotide Transformer 등 6종이며, 파라미터 수는 7 M에서 1.6 B까지 다양하다. Baseline으로는 ChromBPNet‑like CNN(정량적 염색질 접근성 예측)과 단순 CNN(Probing‑head‑like) 등을 사용한다.

실험 결과는 크게 세 가지로 요약된다. 첫째, Zero‑Shot likelihood 방식에서는 대부분의 DNALM이 규제 엘리먼트를 배경과 구분하는 데 높은 정확도(>0.9)를 보였지만, 임베딩 평균을 이용한 Zero‑Shot에서는 기대 이하의 성능을 나타냈다. 이는 현재 DNALM이 토큰‑레벨 확률 모델링에는 강하지만, 임베딩이 의미론적 정보를 충분히 압축하지 못함을 시사한다. 둘째, Probing 단계에서 가장 큰 차이는 없으며, 간단한 CNN 프로빙이 DNALM 임베딩보다 약간 낮은 정확도를 보였다. 이는 DNALM이 사전학습 단계에서 얻은 표현이 downstream task에 직접적인 이점을 제공하지 못한다는 점을 의미한다. 셋째, Fine‑Tuning(LoRA)에서는 일부 모델이 약간의 개선을 보였지만, 여전히 ChromBPNet 기반의 ab initio 모델이 대부분의 과제에서 동일하거나 더 높은 성능을 기록했다. 특히 변이 효과 예측(반사실)에서는 DNALM이 거의 무능력에 가까웠으며, 이는 학습 데이터에 변이 정보가 충분히 포함되지 않았거나, 모델이 장거리 상호작용을 포착하지 못했기 때문일 가능성이 있다.

또한 연산 비용 측면에서 DNALM은 수십 배 이상의 GPU 메모리와 학습 시간(수천 GPU‑hour)을 요구했으며, 같은 성능을 얻기 위해서는 훨씬 가벼운 CNN 모델이 충분히 경쟁력을 가졌다. 논문은 기존 벤치마크가 데이터 편향(예: GC‑content 차이)이나 부적절한 대조군 사용으로 과대평가된 경우가 많았으며, DART‑Eval은 dinucleotide‑shuffled 대조군, LD‑제어 변이 집합 등 엄격한 통제 하에 데이터를 재구성했다는 점을 강조한다.

마지막으로 저자들은 향후 DNALM 개발을 위해 (1) 규제 DNA 특화 토크나이징(예: k‑mer + TF‑binding motif 토큰), (2) 멀티‑태스크 사전학습(ChIP‑seq, ATAC‑seq 등 다중 정량적 신호 동시 학습), (3) 변이 정보와 LD 구조를 포함한 데이터 증강, (4) 효율적인 파라미터‑효율적 튜닝 기법(LoRA, AdapterFusion) 등을 제안한다. 이러한 방향이 실제 생물학적 해석과 디자인에 기여할 수 있는 보다 강건한 DNALM을 만들기 위한 핵심 요소로 제시된다.