DDI 예측을 위한 종합 벤치마크 OpenDDI

초록

OpenDDI는 6개의 기존 DDI 데이터셋과 3개의 대규모 LLM‑증강 데이터셋을 통합하고, SMILES·경로·3D·단백질 서열·텍스트 5가지 모달리티를 결합한 멀티모달 약물 표현을 제공한다. 20개의 최신 모델을 3가지 예측 과제(이진·다중클래스·멀티라벨)와 5가지 평가 차원(데이터 품질·효과성·일반화·효율성·견고성)에서 일관된 프로토콜로 비교·분석하여 10여 개의 실용적 인사이트를 도출한다.

상세 분석

OpenDDI는 현재 DDI 예측 연구가 직면한 두 가지 근본적 한계를 체계적으로 해결한다. 첫째, 데이터 측면에서 기존 연구는 수천 개 정도의 약물과 수만 건 수준의 상호작용에 국한된 소규모 데이터셋을 사용했으며, 주로 SMILES 혹은 경로 임베딩 같은 단일 모달리티에 의존했다. OpenDDI는 6개의 널리 사용된 공개 데이터셋을 그대로 유지하면서, 12개의 권위 있는 약물·생물학 데이터베이스를 기반으로 3개의 대규모 LLM‑보강 데이터셋을 새롭게 구축하였다. 이 데이터셋은 34 000여 개 약물과 5.3 백만 건 이상의 DDI를 포함하며, 이진·다중클래스·멀티라벨 형태로 라벨링되어 다양한 연구 시나리오에 바로 적용할 수 있다. 또한, 약물 표현을 SMILES, 경로, 3D 구조, 단백질 서열, 텍스트 설명이라는 5가지 모달리티로 확장함으로써 화학적, 구조적, 생물학적, 의미적 정보를 모두 포괄한다. 이러한 멀티모달 표현은 개별 모달리티가 포착하지 못하는 상호작용 메커니즘을 보완하고, 특히 복합적인 약물‑표적‑경로 관계를 학습하는 데 유리함을 실험적으로 입증한다.

둘째, 평가 측면에서 OpenDDI는 20개의 최신 모델(그래프 기반, 유사도 기반, 통합 기반)을 동일한 API와 데이터 파이프라인에 매핑하여 재현성을 확보하였다. 평가 프로토콜은 데이터 품질(규모·커버리지), 효과성(ACC·F1·AUROC), 일반화(보지 못한 약물에 대한 테스트), 효율성(시간·메모리), 견고성(노이즈·희소성) 등 5가지 축을 정의하고, 각 축마다 표준 메트릭과 베이스라인을 제공한다. 실험 결과, 멀티모달 표현을 사용한 경우 평균 성능이 SMILES 단일 모달리티 대비 816%p 상승했으며, 특히 다중라벨 과제에서 큰 폭의 개선을 보였다. 그러나 일반화 실험에서는 보지 못한 약물에 대해 성능 저하가 1020%p 발생했으며, 이는 현재 모델이 약물 구조와 상호작용 메커니즘을 완전히 일반화하지 못함을 시사한다. 효율성 측면에서는 GNN 기반 모델이 메모리 사용량과 추론 속도에서 트레이드오프를 보였고, 경량화된 유사도 기반 모델은 대규모 데이터셋에서도 실시간 추론이 가능했다. 견고성 테스트에서는 노이즈가 5% 수준일 때 성능 감소가 미미했지만, 데이터 희소성이 심해지면 모델이 급격히 불안정해지는 경향을 발견했다.

이러한 분석을 통해 OpenDDI는 (1) 대규모·다양한 데이터와 멀티모달 표현이 성능 향상의 핵심임을, (2) 현재 모델이 새로운 약물에 대한 일반화 능력이 부족함을, (3) 효율성과 견고성 사이의 균형을 고려한 모델 선택이 실용적 적용에 중요함을 강조한다. 또한, LLM‑보강 라벨링이 데이터 품질을 크게 개선했으며, 향후 약물‑표적·경로·임상 데이터와의 연계가 연구 방향으로 제시된다.