화학 테이블 이해를 위한 대규모 멀티모달 벤치마크

초록

ChemTable은 실제 화학 논문에서 추출한 1,300여 개의 테이블을 기반으로, 표 구조 인식과 내용 추출, 그리고 표 기반 질의응답 두 가지 핵심 과제를 제공한다. 전문가가 셀 레이아웃·논리 구조·도메인 라벨을 정밀히 주석화했으며, 9,000개 이상의 설명형·추론형 질문을 포함한다. 실험 결과, 최신 멀티모달 대형 언어 모델은 레이아웃 파싱에서는 어느 정도 성능을 보이지만, 분자 구조 이미지 인식·화학 기호 해석·복합 추론에서는 인간 수준에 크게 미치지 못한다.

상세 분석

본 논문은 화학 분야에서 가장 빈번히 등장하는 복합 표를 대상으로, 멀티모달 대형 언어 모델(MLLM)의 한계를 정량화하고자 하는 시도를 보인다. 데이터 수집 단계에서는 2015‑2024년 사이의 권위 있는 화학 저널(A CS Catalysis, J ACS 등)에서 1,382개의 테이블을 자동·수동으로 추출하고, 4,123개의 분자 구조 이미지와 892개의 반응식 라벨을 추가로 부착하였다. 각 셀은 픽셀 좌표와 OCR 교정 텍스트, 서식(볼드, 이탤릭, 색상)까지 상세히 기록되었으며, 논리적 행·열 관계와 물리적 바운딩 박스가 동시에 제공된다.

표 인식(Task TR)은 이미지 → 구조화 텍스트 변환으로 정의되며, 프롬프트 기반 MLLM에게 이미지와 “표를 JSON 형태로 출력하라”는 지시를 내린다. 평가 프로토콜은 세 가지 하위 과제로 세분화된다. ① Value Retrieval은 좌표 기반 셀 값 정확도를 측정하고, ② Position Retrieval은 주어진 값의 행·열 위치를 찾는 능력을 평가한다. ③ Molecular Recognition은 셀 내 분자 그림을 SMILES 문자열로 변환하도록 요구함으로써, 일반 OCR·표 인식과는 다른 미세 시각·화학 기호 해석 능력을 검증한다.

표 이해(Task TU)에서는 7,344개의 설명형 질문과 2,542개의 추론형 질문을 제시한다. 설명형 질문은 “이 표의 촉매 종류는 무엇인가?”처럼 직접적인 정보 추출을 목표로 하며, 정답은 짧은 문자열로 제한한다. 추론형 질문은 “조건 A와 B에서 수율 차이가 10% 이상인 경우는 어느 경우인가?”와 같이 다중 셀 비교·도메인 지식 결합을 요구한다. 질문 생성은 GPT‑4.1을 활용한 자동 생성과 전문가 수작업 검증을 병행해 난이도와 다양성을 확보하였다.

실험에서는 7개의 공개·오픈소스 MLLM(예: LLaVA, MiniGPT‑4)과 10개의 폐쇄형 모델(예: GPT‑4‑Vision, Claude‑3‑Opus)을 평가했다. 레이아웃 재구성 정확도(F1)에서는 최고 92%에 근접했지만, 분자 인식 정확도는 38% 수준에 머물렀다. 설명형 QA에서는 평균 정확도 68%였으며, 추론형 QA에서는 45% 이하로, 특히 “비율 표현(> 19/1)”이나 “footnote”와 같은 암묵적 규칙을 해석하는 데 큰 어려움을 보였다. 인간 전문가 평균 점수는 96%에 달했으며, 모델과 인간 간 격차가 명확히 드러난다.

주요 인사이트는 다음과 같다. 첫째, 기존 MLLM은 일반적인 표 구조 파악에는 충분히 강하지만, 화학 전용 기호·분자 이미지와 같은 도메인 특화 시각 요소는 학습 데이터 부족으로 저성능을 보인다. 둘째, 텍스트와 시각 정보를 통합해 논리적 추론을 수행하는 능력이 제한적이며, 특히 다중 셀 간 비교·조건부 논리 연산에서 오류가 빈번하다. 셋째, 폐쇄형 모델이 전반적으로 우수했지만, 공개 모델에서도 프롬프트 설계와 사전‑파인튜닝을 통해 일정 부분 성능을 끌어올릴 수 있음을 시사한다. 마지막으로, ChemTable은 실제 연구 흐름을 그대로 반영한 고난이도 평가 환경을 제공함으로써, 향후 화학·재료 과학 분야에 특화된 멀티모달 모델 개발의 로드맵을 제시한다.