촉매 흡착 에너지 예측을 위한 그래프‑언어 멀티모달 베이스 모델 QE‑Catalytic

초록

**
QE‑Catalytic은 대형 언어 모델 Qwen과 E(3)‑equivariant 그래프 트랜스포머 Equiformer‑V2를 결합한 멀티모달 프레임워크이다. 3차원 원자 좌표와 구조화된 텍스트 설명을 동시에 활용해 촉매 표면에 대한 완화된 흡착 에너지를 고정밀로 예측하고, 목표 에너지에 맞는 CIF 구조를 자동 생성한다. OC20 벤치마크에서 MAE를 0.713 eV에서 0.486 eV로 크게 낮추며, 기존 CatBERTa·GAP‑CATBERTa 계열보다 일관되게 우수한 성능을 보인다.

**

상세 요약

**
본 논문은 촉매 설계에서 핵심적인 “흡착 에너지” 예측 문제를 두 가지 관점에서 재조명한다. 첫 번째는 물리적 정확성을 보장하는 E(3)‑equivariant 그래프 신경망(GNN)의 강점이다. Equiformer‑V2는 원자 좌표와 주기적 경계 조건을 그대로 입력으로 받아 회전·이동·반사 변환에 불변인 표현을 학습함으로써, 기존 2D 그래프 기반 모델이 놓치기 쉬운 미세한 구조적 차이를 포착한다. 두 번째는 인간이 이해하기 쉬운 텍스트 설명을 활용하는 대형 언어 모델(LLM)의 장점이다. Qwen은 “adsorbate‑site‑orientation”과 같은 구문을 자연어 형태로 인코딩해, 실험적 메타데이터나 설계 의도를 직접 입력받을 수 있게 한다.

핵심 혁신은 “그래프‑텍스트 정렬”(graph‑text alignment) 메커니즘이다. 두 모달리티의 임베딩을 교차‑어텐션 레이어로 연결해, 텍스트 토큰이 해당 원자 위치와 직접 매핑되도록 학습한다. 이 과정에서 텍스트는 3D 기하 정보를 보강하고, 반대로 그래프는 텍스트의 의미적 흐름을 정량적 좌표로 구체화한다. 결과적으로 모델은 (1) 좌표가 완전히 제공될 때는 고정밀 에너지 회귀를, (2) 좌표가 부재하거나 불완전할 때는 텍스트만으로도 합리적인 에너지 추정이 가능하도록 만든다.

학습 목표는 다중태스크 손실 함수로 구성된다. 기본 회귀 손실은 MSE 기반이며, 구조 생성 태스크는 토큰‑레벨 교차 엔트로피 손실을 사용한다. 또한, “에너지‑조건부 샘플링”(energy‑conditioned sampling) 기법을 도입해, 목표 에너지값을 프롬프트에 삽입하면 모델이 해당 에너지에 부합하는 CIF 파일을 자동으로 디코딩한다. 이는 전통적인 역설계(inverse design) 파이프라인을 크게 단순화한다.

실험에서는 OC20(Open Catalyst 2020) 데이터셋을 주요 벤치마크로 삼았다. 기존 CatBERTa와 GAP‑CATBERTa는 텍스트 기반 접근법에 그래프 프리트레인을 결합했지만, 동일한 흡착 구성(adsorbate‑site‑orientation)을 구분하는 데 한계가 있었다. QE‑Catalytic은 “구성 구분 정확도”(configuration discrimination)와 “완화 에너지 MAE” 두 지표 모두에서 현저히 앞섰다. 특히, 좌표가 없는 상황에서도 텍스트‑전용 서브모델이 0.62 eV 수준의 MAE를 기록, 순수 텍스트 모델 대비 15 % 이상의 개선을 보였다.

아벨레이션 실험에서는 (1) 그래프‑텍스트 정렬을 제거하면 MAE가 0.55 eV로 상승, (2) Equiformer‑V2 대신 일반 GNN을 사용하면 0.58 eV, (3) 텍스트 프롬프트에 에너지 조건을 넣지 않으면 구조 생성 성공률이 68 %에서 84 %로 감소한다는 결과가 도출되었다. 이는 각 구성 요소가 상호보완적으로 작용함을 실증한다.

한계점으로는 (i) 대규모 LLM인 Qwen의 파라미터 수가 매우 커서 추론 비용이 높다, (ii) 현재는 주로 금속 표면과 간단한 유기 흡착체에 초점을 맞추었으며, 복합 산화물·전해질 인터페이스 등 더 복잡한 시스템에 대한 일반화 검증이 부족하다, (iii) CIF 자동 생성 과정에서 화학적 타당성(예: 결합 차수, 전하 중성) 검증이 별도 후처리 단계에 의존한다는 점이다. 향후 연구에서는 경량화된 LLM과 효율적인 교차‑어텐션 설계, 그리고 화학 규칙 기반 디코딩을 결합해 실시간 설계 도구로의 전환을 목표로 할 수 있다.

**