SMILES 토크나이저 혁신: Smirk와 Smirk‑GPE의 완전 커버리지

초록

본 논문은 기존 화학 전용 토크나이저가 SMILES 표기법의 전체 OpenSMILES 사양을 포괄하지 못한다는 문제를 지적하고, 34개의 토크나이저를 체계적으로 평가한다. 저자는 저비용 n‑gram 언어 모델을 프록시로 활용해 토크나이저 선택이 분자 특성 예측에 미치는 영향을 검증하고, 완전한 어휘 커버리지를 제공하는 새로운 토크나이저인 Smirk와 압축 버전인 Smirk‑GPE를 제안한다. 실험 결과는 열린 어휘(open‑vocabulary) 접근이 모델 효율성과 정확도 모두에서 우수함을 보여준다.

상세 분석

논문은 먼저 현재 널리 사용되는 “원자‑단위”(atom‑wise) 토크나이저가 SMILES 문자열을 정규식 기반으로 분할하지만, 대괄호 안에 포함되는 동위원소, 입체화학, 전하, 클래스 등 복합 정보를 하나의 토큰으로 취급한다는 근본적인 한계를 지적한다. OpenSMILES 사양에 따르면 이러한 대괄호 원자는 수천 가지 조합이 가능해 이론적으로 28조 개가 넘는 어휘가 필요하지만, 실제 구현된 토크나이저는 3천 개 이하에 불과해 다수의 화학 구조를 ‘