USID와 Pycroscopy: 분광·이미징 데이터 저장·분석을 위한 오픈 프레임워크

초록

본 논문은 다양한 과학 계측기에서 생성되는 대용량·다양성·고속 데이터의 효율적 관리와 분석을 위해 Universal Spectroscopy and Imaging Data(USID) 모델을 제안한다. USID는 HDF5 기반의 계층형 파일 포맷과 결합돼 데이터 호환성, 추적성, 재현성을 보장한다. 이를 활용한 파이썬 라이브러리 pyUSID와 Pycroscopy는 데이터 입출력, 병렬 처리, 나노스케일 이미지·스펙트럼 분석 알고리즘을 제공하며, 기기와 작업에 독립적인 코드 작성이 가능하도록 설계되었다. 커뮤니티 중심의 오픈소스 생태계를 통해 재료 과학 연구의 빅데이터 활용을 가속화하고자 한다.

상세 분석

USID 모델은 기존의 계측기 전용 파일 포맷이 갖는 폐쇄성 문제를 근본적으로 해결한다는 점에서 혁신적이다. 핵심 아이디어는 “데이터셋(dataset)”, “인덱스(index)”, “포지션(position)”, “스펙트럼(spectrum)”이라는 네 가지 기본 구성요소를 추상화해 모든 차원과 모달리티를 하나의 2‑D 행렬 형태로 표현하는 것이다. 이렇게 하면 1‑D 전류‑전압 곡선부터 4‑D 스캔 전자현미경(시간·전압·공간·채널)까지 동일한 구조로 저장할 수 있어, 데이터 파이프라인 전반에 걸친 일관성을 확보한다.

HDF5와의 결합은 파일 내부에 그룹·데이터셋·속성(attribute) 등을 계층적으로 배치함으로써 메타데이터와 과학적 결과를 동일 파일에 영구 보관한다. 이는 데이터 출처와 처리 이력을 자동으로 기록해 재현성을 크게 향상시킨다. 또한 HDF5의 청크(chunk)와 압축 기능을 활용해 대용량 데이터의 I/O 효율성을 최적화한다는 점도 주목할 만하다.

pyUSID는 USID 파일을 읽고 쓰는 기본 API를 제공한다. 특히 USIDataset 객체는 Numpy 배열과 유사한 인터페이스를 제공하면서도 내부적으로는 HDF5 청크를 통해 메모리 사용량을 최소화한다. 병렬 처리 프레임워크인 Process와 Job 클래스는 Dask와 연동돼 다중 코어·클러스터 환경에서 자동으로 작업을 분산한다. 이는 수백 기가바이트 규모의 스펙트럼 매핑 데이터를 수 초 안에 전처리·시각화·분석할 수 있게 만든다.

Pycroscopy는 pyUSID 위에 구축된 과학 분석 라이브러리다. 전자빔 기반 전자현미경(SEM), 원자힘 현미경(AFM), 스캐닝 터널링 현미경(STM) 등에서 얻는 전류·포텐셜·위상·주파수 데이터를 위한 전처리(노이즈 제거, 배경 보정), 차원 축소(PCA, NMF), 클러스터링(K‑means, DBSCAN), 그리고 물리 모델 피팅(전류‑전압 I‑V 모델, 스펙트럼 해석) 등을 모듈화했다. 특히 “instrument‑agnostic” 설계 덕분에 동일한 알고리즘을 서로 다른 장비의 데이터에 그대로 적용할 수 있다. 이는 연구자 간 코드 재사용을 촉진하고, 새로운 계측기 개발 시 소프트웨어 적응 비용을 크게 낮춘다.

커뮤니티 기반 개발 방식도 중요한 포인트다. GitHub 레포지토리와 ReadTheDocs 문서를 통해 사용자와 개발자가 자유롭게 기능을 추가·수정·테스트한다. CI/CD 파이프라인이 자동화돼 코드 품질과 호환성을 지속적으로 검증한다. 이러한 오픈소스 생태계는 학계·산업계가 데이터 표준화와 분석 자동화에 공동으로 기여하도록 유도한다.

전반적으로 USID와 Pycroscopy는 데이터 표준화, 파일 포맷 호환성, 메타데이터 관리, 병렬 처리, 그리고 기기 독립적 분석이라는 다섯 축을 통합해 재료 과학 빅데이터 워크플로우를 한 단계 끌어올린다. 향후 클라우드 기반 AI 모델과 연계해 자동 피처 추출·예측·설계까지 확장한다면, 재료 혁신 속도를 획기적으로 가속화할 수 있을 것으로 기대된다.