유전적 계층화를 통한 효소 기능 예측 벤치마크 GRIMM

초록

GRIMM은 서열 유사도 기반 클러스터링으로 학습·검증·시험 데이터를 엄격히 구분하여, 동일 클러스터가 여러 파티션에 섞이는 것을 방지한다. 폐쇄형 테스트(Test‑1)는 훈련과 동일한 라벨 분포를, 개방형 테스트(Test‑2)는 새로운 라벨을 포함해 실제 OOD 상황을 모의한다. 이 방식은 효소 기능 예측뿐 아니라 모든 서열 기반 분류 작업에 적용 가능하며, 모델의 일반화 능력을 보다 현실적으로 평가한다.

상세 분석

GRIMM 논문은 현재 공개된 효소 데이터베이스가 갖는 두 가지 근본적인 문제—시퀀스 다양성 부족과 라벨 불균형—을 지적한다. 기존 모델들은 무작위 혹은 단순한 비율 기반 분할에 의존해 훈련·검증·테스트 세트를 구성하는데, 이 경우 동일 유전적 배경을 가진 서열이 서로 다른 파티션에 동시에 존재한다. 결과적으로 모델은 실제 새로운 서열에 대한 일반화가 아닌, 이미 본 클러스터 내 변형에 대한 기억 능력만을 평가받게 된다. GRIMM은 이러한 함정을 ‘유전적 계층화(genetic stratification)’라는 개념으로 공식화한다. 먼저 전체 서열을 일정 유사도 임계값(예: 30 % 아이덴티티)으로 클러스터링하고, 각 클러스터를 완전하게 하나의 파티션에 할당한다. 이렇게 하면 테스트 세트에 포함된 서열은 훈련 세트와 전혀 겹치지 않는 새로운 유전적 배경을 제공한다.

폐쇄형 테스트(Test‑1)는 기존 라벨 분포를 유지하면서도 클러스터 간 격리를 보장한다. 따라서 모델이 기존 라벨을 얼마나 정확히 인식하는지, 그리고 클러스터 간 변이에도 견고한지를 측정한다. 반면 개방형 테스트(Test‑2)는 훈련에 포함되지 않은 새로운 라벨을 의도적으로 삽입한다. 이는 실제 연구 현장에서 ‘새로운 효소 기능을 발견’하는 상황을 시뮬레이션한다. 모델이 Test‑2에서 높은 성능을 보이면, 라벨 스페이스 외부에서도 의미 있는 예측을 할 수 있음을 의미한다.

기술적 장점으로는 (1) 구현이 간단하고 기존 데이터만 있으면 바로 적용 가능하다는 점, (2) 클러스터링 임계값을 조정해 난이도를 조절할 수 있다는 점, (3) 라벨이 희소한 경우에도 클러스터 단위로 균형을 맞출 수 있다는 점을 들 수 있다. 그러나 몇 가지 한계도 존재한다. 클러스터링 알고리즘 선택과 임계값 설정이 결과에 큰 영향을 미치며, 과도하게 보수적인 임계값은 데이터 양을 크게 감소시켜 학습에 불리할 수 있다. 또한, 라벨이 완전히 새로운 경우(예: 전혀 알려지지 않은 효소 패밀리)에는 테스트 세트가 충분히 대표성을 갖추기 어려워 실제 OOD 성능을 과소평가할 위험이 있다.

GRIMM이 제시하는 프레임워크는 효소 기능 예측뿐 아니라 단백질-리간드 결합 예측, 변이 효과 예측 등 서열 기반 분류 전반에 적용 가능하다. 향후 연구에서는 (a) 다중 레벨 클러스터링(예: 30 %·50 %·70 % 아이덴티티)으로 단계적 일반화 능력을 평가하고, (b) 메타러닝이나 도메인 적응 기법과 결합해 Test‑2에서의 성능을 향상시키는 방안을 탐색할 수 있다. 전반적으로 GRIMM은 데이터 분할 단계에서 발생하는 과대평가 문제를 근본적으로 해결하려는 시도로, 모델 개발 파이프라인에 필수적인 검증 단계로 자리매김할 가능성이 크다.