분자 특성 예측을 위한 로컬 글로벌 멀티모달 대조 학습

초록

LGM‑CL은 분자 그래프의 로컬 기능군 정보와 전역 토폴로지를 각각 AttentiveFP와 Graph Transformer로 인코딩하고, SMILES와 화학 지식이 강화된 텍스트를 대비시켜 다중 모달 대조 학습을 수행한다. 사전 학습 후에는 분자 지문을 Dual Cross‑Attention 으로 융합해 최종 예측에 활용한다. MoleculeNet 벤치마크에서 분류·회귀 모두 기존 방법을 능가한다.

상세 분석

본 논문은 분자 특성 예측을 위해 “로컬‑글로벌” 구조 정보와 “멀티모달” 텍스트 정보를 동시에 학습시키는 프레임워크 LGM‑CL을 제안한다. 핵심 아이디어는 동일 분자에 대해 서로 다른 뷰(view)를 생성하고, 이들 뷰를 자기지도 대조 학습(contrastive learning)으로 정렬함으로써 풍부하고 일반화 가능한 임베딩을 얻는 것이다.

1. 그래프 모달의 로컬·글로벌 인코더 설계

   • 로컬 인코더: AttentiveFP를 얕은 메시지 패싱 레이어와 GRU 기반 업데이트로 구성해, 기능군 수준의 근접 원자 상호작용을 강조한다. 이는 기존 GNN이 장거리 의존성을 과도하게 학습해 로컬 패턴을 희석시키는 문제를 보완한다.
   • 글로벌 인코더: Graph Transformer는 전체 원자 간의 어텐션을 수행하면서 인접 행렬 기반 바이어스를 추가한다. 스케일된 점곱 어텐션을 통해 장거리 구조와 전역 토폴로지를 효과적으로 포착한다. 두 인코더는 동일한 초기 원자·결합 피처(원자 종류, 전하, 결합 차수 등)를 공유하지만, 서로 다른 구조적 스케일을 학습한다는 점에서 상보적이다.

2. 텍스트 모달의 화학‑지식 강화

   • 원본 SMILES 문자열을 그대로 텍스트 뷰로 사용하고, LLM(대형 언어 모델)에게 화학‑지식이 포함된 프롬프트를 제공해 “화학적 설명 텍스트”를 생성한다. 프롬프트 설계 시 화학적 일관성을 강제해 hallucination을 최소화한다.
   • 두 텍스트 뷰는 동일한 Transformer 기반 텍스트 인코더에 입력되며, 원본 SMILES와 설명 텍스트 사이의 대조 손실을 통해 물리‑화학 의미를 학습한다.

3. 멀티뷰 대조 학습 전략

   • 내부 대조: 로컬 그래프 ↔ 글로벌 그래프, SMILES ↔ 설명 텍스트 각각에 대해 InfoNCE 기반 손실을 적용해 동일 분자 내 뷰 간 일관성을 강화한다.
   • 교차 대조: 그래프 뷰와 텍스트 뷰 간에도 대조를 수행해 구조와 의미가 서로 정렬되도록 만든다. 이는 단일 모달에 비해 더 풍부한 표현을 얻을 수 있게 한다.
   • 음성 샘플(negative pair)은 동일 배치 내 다른 분자들의 임베딩을 사용해 효율적인 배치‑레벨 대조를 구현한다.

4. 파인튜닝 단계와 멀티모달 융합

   • 사전 학습된 그래프와 텍스트 임베딩을 각각 통합해 “통합 그래프 임베딩”, “통합 텍스트 임베딩”을 만든다.
   • 추가적인 분자 지문(MACCS, PubChem, ErG 등)을 Dual Cross‑Attention 모듈에 입력해, 세 모달(로컬‑그래프, 글로벌‑그래프, 텍스트, 지문) 간 상호작용을 학습한다. 이 과정에서 각 모달의 중요도가 동적으로 조정되며, 최종 분자 레벨 표현이 생성된다.
   • 마지막에 MLP 헤드로 회귀 혹은 분류를 수행한다.

5. 실험 및 결과

   • MoleculeNet의 7개 데이터셋(PCBA, BACE, HIV, ESOL, Lipo, FreeSolv, QM9 등)에서 LGM‑CL은 기존 최첨단 GNN(DFT, GIN, Graphormer 등)과 멀티모달 모델을 모두 능가한다. 특히 전역‑전략이 중요한 회귀 과제(QM9)와 로컬‑패턴이 중요한 분류 과제(HIV) 모두에서 평균 3~7%의 성능 향상을 보였다.
   • Ablation study에서는 (i) 로컬·글로벌 인코더를 하나만 사용할 경우 성능이 급격히 떨어지고, (ii) 텍스트 대조를 제거하면 특히 물리‑화학 회귀에서 손실이 크게 나타난다.
   • 시각화(UMAP) 결과는 사전 학습된 임베딩이 화학적 군집(예: 유사한 기능군을 가진 분자)으로 잘 구분됨을 보여, 대조 학습이 의미 있는 화학 공간을 형성함을 입증한다.

핵심 기여는 (1) 화학‑지식 강화 프롬프트를 통한 텍스트 뷰 생성, (2) 로컬‑글로벌 그래프 인코더의 명시적 분리와 대조 정렬, (3) Dual Cross‑Attention 기반 멀티모달 융합이다. 이 세 요소가 결합돼 기존 단일 모달 또는 단일 스케일 접근법보다 더 일반화 가능하고 해석 가능한 분자 표현을 제공한다.