디스프롯벤치: 무질서 영역에서 단백질 구조 예측 모델의 기능적 한계 규명

초록

DisProtBench는 intrinsically disordered regions(IDR)를 중심으로 한 새로운 벤치마크로, 예측 불확실성을 정량화하는 Functional Uncertainty Sensitivity(FUS) 지표를 도입한다. 대규모 질병 관련 IDR, GPCR‑리간드 상호작용, 다중체 복합체 데이터를 통합하고, AlphaFold2·3, OpenFold 등 최신 PSPM을 평가한다. 결과는 IDR에서 단백질‑단백질 상호작용 예측이 급격히 악화되는 반면, 구조 기반 약물 발견은 비교적 견고함을 보여준다. 전통적인 전역 정확도 지표는 이러한 기능적 위험을 과대평가한다.

상세 분석

DisProtBench는 기존 구조 예측 평가가 정적인 단일 구조를 전제로 하는 한계를 극복하기 위해 세 가지 핵심 문제—구조 복잡성, 신뢰할 수 있는 기준구조의 부족, 그리고 예측 불확실성—를 동시에 다룬다. 첫째, 저자들은 인간 단백질의 장기간 IDR(≥20잔류)과 질병 연관 변이를 기반으로 한 DisProt‑Based 데이터셋을 구축했으며, 이는 전통적인 X‑ray 혹은 Cryo‑EM 구조가 거의 존재하지 않는 영역을 포괄한다. 둘째, GPCR‑리간드 데이터베이스와 다중체 PPI 데이터셋을 추가함으로써, 구조가 부분적으로는 고정돼 있지만 IDR이 기능적 인터페이스를 형성하는 실제 생물학적 상황을 재현한다. 셋째, 모델 자체가 제공하는 pLDDT와 같은 신뢰도 점수를 활용해 예측 불확실성을 정량화하고, 이를 downstream task 성능에 stratify하는 새로운 지표인 Functional Uncertainty Sensitivity(FUS)를 제안한다. FUS는 “불확실도 구간 → 작업 성능” 매핑을 통해, 예를 들어 pLDDT가 낮은 잔기에서 PPI 예측 정확도가 얼마나 감소하는지를 명확히 보여준다.

평가에는 AlphaFold2·3, OpenFold, UniFold, Boltz, Chai, Proteinx, ESMFold 등 8가지 최신 PSPM이 포함되었으며, 각 모델은 입력(MSA, 단일 서열, LLM)과 구조 표현(원자, 코어스그레인)에서 차이를 보인다. 실험 결과, 전역 RMSD·GDT‑TS와 같은 전통 지표는 대부분의 모델이 80~90% 수준의 높은 점수를 유지하지만, IDR이 포함된 PPI 인터페이스에서는 FUS가 0.3 이하로 급락한다. 반면, GPCR‑리간드 결합 포켓은 구조가 비교적 고정돼 있기 때문에, 약물 스크리닝 정확도는 불확실도 구간에 크게 좌우되지 않는다. 이는 모델이 “정적 구조”에 최적화돼 있으면서도, 동적·다중 상태를 필요로 하는 기능(예: 상호작용, 상전이)에서는 신뢰도가 급격히 떨어진다는 중요한 교훈을 제공한다.

또한, 시각화 인터페이스를 통해 사용자는 개별 잔기의 pLDDT 색상 오버레이와 함께, 해당 잔기가 PPI 예측에 미치는 영향을 직접 탐색할 수 있다. 이는 기존 벤치마크가 제공하지 못한 “오류 원인 추적” 기능을 가능하게 하며, 모델 개선 방향을 제시한다. 마지막으로, 코드와 데이터가 모두 오픈소스로 제공돼 재현성 및 커뮤니티 기반 확장이 용이하다. 전반적으로 DisProtBench는 IDR 중심의 기능적 평가 프레임워크를 최초로 제시함으로써, 구조 예측 모델의 실제 적용 가능성을 보다 현실적으로 판단할 수 있게 만든다.