SciFlow Bench 구조 인식 과학 다이어그램 생성 평가를 위한 역파싱

초록

SciFlow‑Bench은 과학 논문에서 추출한 실제 프레임워크 그림을 기반으로, 텍스트‑투‑이미지 모델이 생성한 다이어그램을 역파싱해 구조화된 그래프로 복원하고, 이를 정답 그래프와 비교함으로써 구조적 정확성을 평가하는 벤치마크이다. 계층형 다중 에이전트 시스템을 이용해 원본 그림에서 정답 그래프를 자동 생성하고, 생성된 이미지에서 예측 그래프를 추출한다. 시각적 유사성만을 측정하는 기존 지표와 달리 노드·엣지 정밀도·재현율, 텍스트 일치도, 이미지 일관성 등을 종합해 구조‑우선 점수를 산출한다. 실험 결과, 최신 확산 모델은 시각적 품질은 높지만 복잡한 토폴로지를 가진 다이어그램에서는 구조적 오류가 빈번히 발생함을 보여준다.

상세 분석

본 논문은 과학적 다이어그램이 “구조적 의미 전달”이라는 본질적 목적을 가지고 있음에도 불구하고, 현재의 텍스트‑투‑이미지 모델이 시각적 사실성에만 집중해 구조적 오류를 범하는 문제점을 명확히 짚어낸다. 기존 벤치마크는 FID·CLIPScore와 같은 이미지‑레벨 지표나 주관적 평가에 의존해, 노드·엣지와 같은 논리적 관계를 놓치고 “시각적 착시” 현상을 초래한다는 비판을 제시한다.

SciFlow‑Bench은 이러한 한계를 극복하기 위해 “역파싱”이라는 폐쇄형 라운드‑트립 프로토콜을 도입한다. 먼저, 논문 PDF에서 프레임워크 그림을 추출하고, 계층형 다중 에이전트 시스템(HMAS)으로 정답 그래프 G*를 자동 구축한다. HMAS는

1. 인지 계획층 – Methodologist가 텍스트에서 방법 서술을 추출하고, Visual Translator가 구조화된 시각 프롬프트를 생성한다.
2. 세밀 인식층 – Environment Curator가 전체 레이아웃 흐름을 파악하고, Shape Hunter가 계층적 세분화로 노드 영역을 분할하며, Text Spotter가 OCR을 통해 텍스트 라벨을 보완한다. 이들 결과는 공유 블랙보드에 기록되고, Fusion Arbiter가 중복·충돌을 해결해 통합된 객체 집합을 만든다.
3. 구조 추론층 – Topology Coder가 Mermaid 형식의 중간 표현을 만들고, Graph Architect가 이를 구체적 노드·엣지와 레이아웃 메타데이터가 포함된 그래프 G* 로 변환한다.

평가 단계에서는 동일한 파이프라인을 사용해 모델이 생성한 다이어그램 이미지 I를 역파싱해 예측 그래프 Ĝ를 만든다. 그래프‑레벨에서는 노드·엣지 정밀도·재현율·F1을, 텍스트‑레벨에서는 프롬프트와의 내용 일치와 불필요한 요소(헐루시네이션)를, 이미지‑레벨에서는 CLIP 기반 의미 유사도·LPIPS·시각적 흐름 일관성을 측정한다. 최종 점수는 구조적 정확성에 높은 가중치를 부여해, 시각적으로 아름다워도 구조가 깨진 다이어그램은 낮은 순위를 받는다.

데이터셋은 2025년 arXiv 논문에서 추출한 500개의 다이어그램을 5개 연구 분야(컴퓨터 비전, NLP, 머신러닝 이론, 집적 회로, 로보틱스)로 균등 배분하고, 그래프 크기·복잡도에 따라 난이도를 라벨링했다. 인간 검증과 HMAS 자동 라벨링 간의 일치도는 노드 F1 0.91, 엣지 F1 0.71로, 자동화된 라벨링이 충분히 신뢰할 만함을 보여준다.

실험 결과, 최신 확산 모델(SDXL, PixArt‑Σ 등)과 코드‑기반 생성기 모두 시각적 지표에서는 높은 점수를 받지만, 복잡한 토폴로지를 가진 다이어그램에서는 노드·엣지 F1이 0.45 이하로 급락한다. 특히 방향성(arrow) 오류와 누락된 서브모듈이 빈번히 관찰돼, 구조적 인식을 위한 별도 메커니즘이 필요함을 시사한다.

이 논문의 주요 기여는 (1) 구조 회복 가능성을 핵심 평가 기준으로 삼은 새로운 벤치마크 설계, (2) 동일 파이프라인을 데이터 구축·평가에 적용한 재현성 높은 자동화 프레임워크, (3) 시각적 품질과 구조적 정확성이 크게 탈동조되는 현상을 실증한 실험 결과다. 한계점으로는 역파싱 정확도가 아직 완벽하지 않아 복잡한 수식·특수 기호가 포함된 다이어그램에서 오류가 발생할 수 있다는 점과, 현재는 2D 레이아웃에 초점을 맞추어 3D 혹은 인터랙티브 다이어그램에 대한 확장은 미비하다는 점을 들 수 있다. 향후 연구는 역파싱 모델의 정밀도 향상, 멀티모달 사전학습을 통한 구조 인식 강화, 그리고 사용자 정의 평가 기준을 플러그인 형태로 제공하는 확장성을 목표로 할 수 있다.