전역적 적응형 단백질 토크나이저: 구조·시퀀스·기능을 하나로 묶는 새로운 접근

초록

본 논문은 기존의 지역 기반 토크나이저가 갖는 오류 누적·선형 토큰 증가 문제를 해결하고자, 전역적인 코스-투-파인 토큰을 순차적으로 생성하는 적응형 토크나이저(APT)를 제안한다. APT는 확산 오토인코더와 이산화된 bottleneck을 결합해 단백질 구조를 압축·재구성하며, 토큰 엔트로피 기반 샘플링과 클래스피어 가이던스 조절을 통해 생성 품질과 설계 가능성을 동시에 향상시킨다. 재구성, 생성, 표현 학습 3가지 벤치마크에서 기존 최첨단 모델을 능가하거나 동등한 성능을 보이며, CATH 분류, 제로샷 단백질 축소·친화도 향상 등 실용적인 응용도 입증한다.

상세 분석

APT(Adaptive Protein Tokenizer)의 핵심 아이디어는 “전역 토큰화”이다. 기존 토크나이저가 각 잔기의 근접 이웃을 하나의 토큰으로 압축하는 반면, APT는 전체 구조를 저주파(코스)부터 고주파(디테일)까지 단계적으로 설명하는 토큰 시퀀스를 만든다. 이를 위해 저자들은 다음과 같은 기술적 설계를 적용했다.

1. 확산 오토인코더 기반 인코더‑디코더

   • 입력은 정규화된 Cα 좌표 시퀀스로, 양방향 트랜스포머가 각 잔기에 대한 잠재 벡터 c∈ℝ^{L×d}를 생성한다.
   • 잠재 벡터는 Finite‑Scalar Quantization(FSQ)으로 이산화되어 1,000개의 코드북을 가진 토큰 ˆc를 만든다. 이 과정에서 “nested dropout”을 적용해 토큰 수 U를 무작위로 제한함으로써 초기 토큰에 핵심 전역 정보를, 뒤쪽 토큰에 고주파 세부 정보를 배치하도록 강제한다.

2. 적응형 토큰 길이와 엔트로피 기반 샘플링

   • 토큰 엔트로피를 실시간으로 측정해 “entropy cutoff” 혹은 “minimum entropy” 전략을 선택한다. 엔트로피가 낮은 구간은 정보량이 적어 버릴 수 있고, 높은 엔트로피 구간은 디테일 복원을 위해 유지한다. 이는 생성 단계에서 오류 전파를 억제하고, 설계 가능성을 높이는 핵심 메커니즘이다.

3. 크기 회귀와 조건부 디코딩

   • 첫 번째 토큰(또는 앞 1‑4개 토큰)에서 단백질 길이(L)를 교차 엔트로피 손실로 회귀한다. 길이 정보는 “zero‑frequency” 특성으로 간주되어 토큰 시퀀스와 별도로 학습된다. 이렇게 하면 토큰 자체가 길이 정보를 내포하지 않아, 토큰 수를 자유롭게 조절하면서도 정확한 크기 복원이 가능하다.

4. 클래스피어 가이던스와 스코어 Annealing

   • 확산 디코더는 ODE 기반 샘플링을 사용하지만, 생물학적 구조는 작은 노이즈에도 민감하므로 무조건적인 스코어 annealing은 품질 저하를 초래한다. 저자들은 조건부와 무조건부 스코어를 α∈