적응형 구조 토큰 스케일링으로 강화된 전원자 LLM 설계

초록

본 논문은 전원자(모든 원자 수준) 생체분자 구조를 언어 모델에 효율적으로 결합하기 위해, 명령어‑조건 게이팅으로 가변 크기 패치를 생성하고, 교차‑주의 기반의 Geometry Grounding Adapter를 통해 정밀한 기하 정보를 주입하는 Cuttlefish 프레임워크를 제안한다. 고정‑길이 연결 토큰의 압축 한계를 넘어 구조 복잡도에 비례한 토큰 할당을 가능하게 하여, 기존 모델에서 나타나던 구조적 환각을 크게 감소시키고, 다양한 베치‑스케일 실험에서 BLEU, ROUGE, METEOR 등 다중 지표에서 일관된 성능 향상을 입증한다.

상세 분석

Cuttlefish는 크게 네 가지 핵심 모듈로 구성된다. 첫 번째는 SE(3)‑equivariant Graph Neural Network(EGNN) 기반의 전원자 인코더로, 원자 특성 및 3차원 좌표를 회전·이동 불변 형태의 임베딩으로 변환한다. 두 번째인 Scaling‑Aware Patching은 명령어 임베딩(z)와 노드 임베딩(X)을 입력으로, Ganc 라는 작은 MLP‑형 게이트를 통해 각 원자에 ‘앵커 점수’를 부여한다. 이 점수는 Softmax 후 누적 확률 질량이 사전 정의된 임계값 ρ를 초과할 때까지 상위 원자를 선택함으로써, 그래프마다 적절한 앵커 수 k_g 를 동적으로 결정한다. 이렇게 선택된 앵커는 거리 기반 가중치와 점수(ℓ_a)를 결합한 소프트 어사인먼트 식 W_{i,a}=exp(−‖P_i−P_a‖²+ℓ_a) / Σ_{a’}exp(−‖P_i−P_{a’}‖²+ℓ_{a’}) 로 주변 원자를 패치에 할당한다. 패치 내 원자들은 가중 평균 풀링을 통해 패치 토큰 t_a 를 생성하고, 이는 이후 단계에서 질의 토큰으로 활용된다.

세 번째 모듈인 Geometry Grounding Adapter는 이러한 패치 토큰을 Q‑projection 후, 다중 교차‑주의 레이어(f_ℓ)와 FFN을 거쳐 전체 모달리티 임베딩 X와 상호작용한다. 이 과정에서 패치 토큰은 고해상도 기하 정보를 ‘검색’하게 되며, 최종적으로 LLM 임베딩 공간에 투사된 b_T 토큰이 지정된 자리(y_ins)와 마스크에 삽입된다. 이렇게 삽입된 토큰은 LLM의 자체 언어 흐름에 직접적인 구조적 근거를 제공함으로써, 기존의 시퀀스‑전용 입력이 야기하던 ‘구조 환각’을 억제한다.

학습 단계는 두 단계로 나뉜다. (1) 전원자 EGNN 인코더는 마스크된 원자·에지 복원 과제(원소 유형, 거리, 방향 노이즈)로 사전 학습되어, 회전·이동 불변성을 확보한다. (2) 이후 커넥터(패칭·어댑터)와 LLM을 동시에 미세조정하는 인스트럭션 튜닝 단계에서는 GEO‑AT 라는 전원자 지시문 데이터셋을 사용해, 구조‑언어 정렬을 최적화한다. 이때 LLM은 고정된 상태에서 시작해, 점진적으로 새로운 토큰 분포에 적응한다.

실험 결과는 두 가지 주요 관점에서 평가된다. 첫째, ‘Functional Group Hallucination’ 테스트에서는 기존 Mol‑Llama·ChatGPT 기반 시퀀스 모델 대비 환각률(HR)이 0.12→0.03 수준으로 크게 감소했으며, 정답률(AR)도 0.95→0.99에 근접했다. 둘째, Mol‑Instructions 캡션 과제에서는 길이 구간별(원자 수 1170) BLEU‑4, ROUGE‑L, METEOR 등 모든 지표에서 고정‑길이 토큰을 사용하는 베이스라인보다 평균 512% 향상을 기록했다. 특히 대형(>100원자) 분자에서 고정‑길이 연결이 초래하는 과압축 현상이 완화되어, 스케일‑어웨어 패칭의 효용이 명확히 드러났다.

전체적으로 Cuttlefish는 (1) 구조 복잡도에 비례하는 토큰 할당을 통해 스케일링 문제를 해결하고, (2) 기하 정보를 명시적으로 LLM에 주입함으로써 구조적 일관성을 보장한다는 두 축을 동시에 만족한다. 이는 향후 다중 모달 과학 언어 모델이 ‘정확한’ 물리·화학 근거를 바탕으로 추론·생성 작업을 수행하도록 하는 중요한 설계 원칙을 제시한다.