멀티모달 대형언어모델을 위한 화학 시각·텍스트·기호 추론 벤치마크

초록

화학적 추론은 시각, 텍스트, 기호라는 세 가지 모달리티를 자연스럽게 결합하지만, 기존 벤치마크는 대개 화학 의미가 제한된 단순 이미지‑텍스트 쌍에 머물러 있다. 따라서 멀티모달 대형언어모델(MLLM)이 화학적 의미를 실제로 얼마나 잘 통합하고 처리할 수 있는지는 명확하지 않다. 우리는 이러한 공백을 메우기 위해 ChemVTS‑Bench라는 도메인‑정통 벤치마크를 제안한다. 이 벤치마크는 유기 분자, 무기 재료, 3차원 결정 구조 등 다양한 화학 문제를 포함하며, 각 과제는 (1) 시각 전용, (2) 시각‑텍스트 혼합, (3) SMILES 기반 기호 입력의 세 가지 형태로 제공한다. 이러한 설계는 모달리티별 추론 행동과 교차 모달 통합 능력을 정밀하게 분석할 수 있게 한다. 평가의 재현성을 확보하기 위해 자동화된 에이전트 기반 워크플로우를 구축하여 추론 과정을 표준화하고, 정답 검증 및 오류 원인 진단을 수행한다. 최신 MLLM에 대한 광범위한 실험 결과, 시각 전용 입력이 가장 어려우며, 구조 화학 분야가 가장 높은 난이도를 보인다. 멀티모달 융합이 시각, 지식, 논리 오류를 어느 정도 완화하지만 완전히 해결하지는 못한다는 점을 확인하였다. ChemVTS‑Bench는 화학적 멀티모달 추론을 위한 엄격하고 도메인‑충실한 테스트베드로서, 향후 연구 발전에 기여할 것이다. 모든 데이터와 코드는 공개 예정이다.

상세 요약

ChemVTS‑Bench는 기존 화학 AI 벤치마크가 갖는 근본적인 한계를 체계적으로 보완한다는 점에서 큰 의미를 가진다. 첫째, 화학 분야는 시각적 정보(분자 구조 그림, 결정 격자 이미지 등)와 텍스트 설명(반응 메커니즘, 물성 서술) 그리고 기호 표현(SMILES, InChI 등)이 서로 얽혀 있는 복합적인 지식 체계를 가지고 있다. 기존 이미지‑텍스트 쌍은 주로 일반적인 물체 인식이나 간단한 캡션 생성에 초점을 맞추어, 화학 결합의 종류, 입체화학, 전자구조와 같은 핵심 개념을 충분히 드러내지 못한다. 따라서 MLLM이 실제 화학 문제를 해결할 수 있는지를 평가하려면, 보다 풍부하고 도메인‑특화된 모달리티 조합이 필요하다.

두 번째로, ChemVTS‑Bench는 세 가지 입력 모드—시각 전용, 시각‑텍스트 혼합, SMILES 기반 기호 입력—를 동시에 제공함으로써 모델이 각각의 모달리티에서 독립적으로 추론할 수 있는 능력과, 서로 다른 모달리티를 통합해 시너지를 창출하는 능력을 구분해서 측정한다. 예를 들어, 시각 전용 모드에서는 모델이 이미지 내 원자·결합 배치를 정확히 파악하고, 이를 기반으로 물성이나 반응성을 예측해야 한다. 반면, 시각‑텍스트 혼합 모드에서는 텍스트가 제공하는 추가적인 화학적 힌트를 활용해 이미지 해석을 보완할 수 있다. 마지막으로 SMILES 기반 입력은 순수 기호 정보만으로도 문제를 해결할 수 있는지를 테스트한다. 이러한 설계는 “모달리티 의존성”과 “모달리티 통합 능력”을 명확히 구분해 분석할 수 있게 한다.

세 번째로, 자동화된 에이전트 기반 워크플로우는 평가 과정에서 인간 개입을 최소화하고, 정답 검증 및 오류 진단을 표준화한다는 점에서 실험 재현성을 크게 향상시킨다. 특히 화학 문제는 정답이 단일 문자열이 아니라 여러 형태(예: 구조식 이미지, 수치값, 반응 메커니즘 서술)로 나타날 수 있기 때문에, 자동 검증 로직이 필요하다. 이 시스템은 모델 출력이 기대 형식과 일치하는지 확인하고, 불일치 시 구체적인 오류 유형(시각 인식 오류, 지식 부족, 논리 추론 오류 등)을 자동으로 라벨링한다. 결과적으로 연구자는 모델의 약점을 정량적으로 파악하고, 향후 개선 방향을 명확히 설정할 수 있다.

실험 결과를 보면, 최신 MLLM조차 시각 전용 입력에서 낮은 정확도를 보이며, 특히 3차원 결정 구조와 같은 복잡한 입체 정보를 처리하는 데 큰 어려움을 겪는다. 이는 현재 모델이 2D 이미지 인식에 최적화돼 있지만, 화학에서 중요한 입체화학적 관계를 3D 좌표로부터 추론하는 능력이 부족함을 의미한다. 반면, 시각‑텍스트 혼합 모드에서는 텍스트가 제공하는 명시적 화학 지식이 시각 정보를 보완해 성능이 유의미하게 상승한다. 그러나 여전히 “지식 기반 오류”(예: 특정 반응 조건을 몰라 답을 틀리는 경우)와 “논리 오류”(예: 반응 메커니즘을 단계적으로 연결하지 못함) 가 남아 있다. SMILES 기반 기호 입력에서는 모델이 언어적 토큰을 잘 처리하지만, 화학 구조의 실제 물리적 의미를 완전히 이해하지 못해 복합적인 물성 예측에서는 한계가 있다.

전반적으로 ChemVTS‑Bench는 MLLM이 화학 분야에서 진정한 멀티모달 추론 능력을 갖추기 위해서는 시각 인식, 도메인 지식, 논리적 추론 세 축을 모두 강화해야 함을 명확히 보여준다. 향후 연구는 3D 구조 인식을 위한 공간적 토큰화, 화학 전용 지식 그래프와의 연계, 그리고 단계별 논리 추론을 지원하는 프롬프트 엔지니어링 등에 초점을 맞출 필요가 있다. 이러한 방향성을 제시함으로써, ChemVTS‑Bench는 화학 AI 연구의 로드맵을 제시하는 중요한 이정표가 될 것이다.