미시적 공간 지능 벤치마크: 분자 이미지와 언어 모델의 새로운 도전

초록

본 논문은 눈에 보이지 않는 원자·분자 수준의 공간 관계를 이해하고 추론하는 능력, 즉 미시적 공간 지능(MiSI)을 정의하고, 이를 평가하기 위한 대규모 벤치마크 MiSI‑Bench을 제안한다. 약 4,000개의 PDB 구조에서 추출한 163 k QA 쌍·587 k 이미지와 9개의 단위·복합 작업을 통해 최신 Vision‑Language Model(VLM)들의 성능을 인간 수준과 비교한다. 실험 결과 현재 SOTA VLM은 인간보다 크게 뒤처지지만, 7 B 파라미터 모델을 MiSI‑Bench에 맞춰 미세조정(SFT)하면 일부 변환 작업에서 인간을 앞선다. 그러나 수소 결합 인식 등 과학적 도메인 지식이 요구되는 과제에서는 여전히 낮은 성능을 보이며, 명시적 도메인 지식 통합의 필요성을 강조한다.

상세 분석

MiSI‑Bench은 기존 macroscopic spatial intelligence 벤치마크와 달리 미시적 수준, 즉 원자·분자 구조를 2‑D 정사영 이미지로 변환한 뒤 VLM에게 공간 변환·관계 추론을 요구한다는 점에서 혁신적이다. 데이터는 PDBbind에서 3,503개의 protein‑ligand 복합체를 선정하고 ChimeraX를 이용해 front, left, top 등 6가지 정사영을 생성, 각 작업별 템플릿 기반 QA를 자동 생성하였다. 9개의 작업은 Translation, Rotation, Zooming, Residue‑Ligand Interaction 등 4가지 기본 연산을 단독으로 평가하는 4개의 unit task와, 이들을 조합한 5개의 composite task으로 구성된다. 특히 hydrogen‑bond 인식과 같은 biologically‑grounded task는 단순 기하학적 변환을 넘어 전자밀도·화학적 성질을 이해해야 하므로 VLM의 한계를 명확히 드러낸다.

실험에서는 오픈소스 o3‑mini, Claude Sonnet 4.5 등 최신 VLM을 그대로 적용했을 때 평균 정확도가 45 % 수준에 머물렀으며, 인간 평가자는 78 % 이상의 정확도를 기록했다. 반면 동일 구조의 7 B 파라미터 모델을 MiSI‑Bench 전용 데이터셋으로 SFT한 후에는 spatial transformation(translation, rotation, zooming)에서 85 % 이상의 정확도를 달성, 인간을 능가했다. 그러나 hydrogen‑bond task에서는 32 %에 불과해, 화학적 지식이 모델에 충분히 주입되지 않았음을 보여준다.

이 결과는 두 가지 중요한 시사점을 제공한다. 첫째, VLM은 시각‑언어 결합을 통해 복잡한 3‑D 구조를 추론하는 능력이 급격히 향상되고 있음을 의미한다. 둘째, 과학적 AGI를 목표로 할 경우, 물리·화학 법칙, 결합 에너지 등 도메인‑특화 지식을 사전 학습 단계에서 명시적으로 통합하거나, 멀티‑모달 과학 데이터(예: 전자밀도 맵, 에너지 프로파일)와의 공동 학습이 필수적이다. 또한, 현재 데이터 생성 파이프라인이 템플릿 기반이므로, 실제 실험적 변이(예: conformational flexibility)를 반영한 데이터 확장이 필요하다. 향후 연구는 (1) 도메인‑지식 강화 프리트레이닝, (2) 3‑D 그래프와 이미지 정보를 융합한 하이브리드 아키텍처, (3) 인간‑전문가와의 인터랙티브 학습을 통한 지속적 벤치마크 업데이트 등을 제안한다.