과학 데이터 자동화의 새로운 패러다임 SciDataCopilot

초록

SciDataCopilot은 과학 실험 데이터의 이질성을 해소하고, 작업‑조건 기반 “Scientific AI‑Ready” 데이터를 자동으로 생성하는 에이전트 기반 프레임워크이다. 데이터 접근, 의도 파싱, 처리, 통합의 네 단계 에이전트가 협업해 원시 데이터를 의미론적으로 정렬하고, 생명·신경·지구 과학 등 세 분야에서 최대 30배 빠른 데이터 준비를 실현한다.

상세 분석

본 논문은 기존 AI‑for‑Science가 텍스트 중심에 머물러 실험 데이터와의 연결 고리가 약한 점을 지적하고, “Scientific AI‑Ready” 패러다임을 제안한다. 이 패러다임은 데이터 자체를 과학적 과제와 제약 조건에 맞춰 구조화하고, downstream 모델이 바로 사용할 수 있는 형태로 변환한다는 점에서 혁신적이다. 구현 핵심은 네 개의 전문 에이전트로 구성된 SciDataCopilot이다. 첫 번째 Data Access Agent는 다양한 레포지터리와 파일 시스템을 탐색해 메타데이터를 추출하고, 도메인‑특화 스키마에 매핑한다. 두 번째 Intent Parsing Agent는 사용자의 자연어 질의를 분석해 필요한 변수, 실험 조건, 데이터 형식을 도출하고, 이를 기반으로 데이터‑처리 계획을 자동 생성한다. 세 번째 Data Processing Agent는 도메인 툴킷(예: RDKit, MNE‑Python, xarray)과 연동해 형식 변환, 정제, 품질 검증을 수행하며, 오류 발생 시 자체 복구 루프를 가동한다. 마지막 Data Integration Agent는 다중 모달(이미지·시계열·분자 구조 등) 데이터를 시간·공간·의미적으로 정렬하고, 통합된 AI‑Ready 데이터셋을 생성한다. 논문은 세 가지 이질적인 도메인(효소 촉매, 뇌전도/MEG, 기후 관측)에서 실험을 진행했으며, 각각 20‑30배의 속도 향상과 인간 전문가 수준의 정밀도를 보고한다. 특히, 의도 파싱 단계에서 LLM을 활용해 자연어 명령을 직접 파이프라인으로 변환한 점은 기존 데이터 레시피 방식보다 유연성을 크게 높인다. 평가에서는 처리량, 재현성, 오류 복구 능력을 정량화했으며, 데이터 준비 과정의 로그와 트레이스가 자동으로 기록돼 투명성을 확보한다. 그러나 현재 프레임워크는 도메인‑특화 스키마 정의와 에이전트 간 인터페이스 설계에 상당한 초기 비용이 소요되며, 새로운 실험 프로토콜이 추가될 때 스키마 업데이트가 필요하다. 또한, LLM 기반 의도 파싱의 신뢰성은 프롬프트 설계와 모델 규모에 크게 좌우된다. 향후 연구에서는 메타러닝을 통한 스키마 자동 확장, 에이전트 간 협업 최적화, 그리고 실시간 실험 피드백 루프를 포함한 폐쇄‑루프 과학 워크플로우 구축이 기대된다. 전체적으로 SciDataCopilot은 데이터 중심 AI4S의 병목을 해소하고, AGI‑driven 과학 발견을 위한 필수 인프라로서의 가능성을 제시한다.