CSVM 사전 기술 보고서

초록

CSVM은 메타데이터를 포함한 CSV 형식으로, 인간이 읽기 쉬운 평문 파일에 데이터·메타데이터·주석을 계층적으로 저장한다. 본 보고서는 CSVM 사전이라는 확장 개념을 제안한다. 사전 파일 자체가 또 다른 CSVM 파일을 다른 형식·용어·단위 체계로 변환하는 매핑 정보를 담으며, 기존 파서와 파이썬 툴킷만으로 읽고 적용할 수 있다. 화학 분야 예시와 파이썬 코드 조각을 통해 구현 방법과 활용 가능성을 보여준다.

상세 분석

CSVM(Comma‑Separated Values with Metadata)은 전통적인 CSV가 갖는 단순성은 유지하면서, 파일 상단에 ‘#TITLE’, ‘#HEADER’, ‘#TYPE’, ‘#WIDTH’ 등 메타데이터 라인을 삽입함으로써 데이터 구조와 의미를 명시한다. 이러한 설계는 인간이 직접 파일을 열어도 내용 파악이 가능하도록 하면서도, 파서가 메타데이터를 자동으로 해석해 데이터 타입 변환, 열 너비 지정, 주석 처리 등을 수행하게 만든다.

보고서는 CSVM‑1 사양을 기반으로 ‘CSVM 사전(CSVM dictionary)’이라는 새로운 파일 유형을 정의한다. 사전 파일은 두 개의 주요 섹션으로 구성된다. 첫 번째 섹션은 원본 CSVM 파일의 열 이름, 단위, 데이터 타입 등을 정의하고, 두 번째 섹션은 변환 대상 파일에 적용될 열 이름·단위·형식 매핑을 제공한다. 즉, 사전은 “원본 열 ↔ 목표 열” 매핑 테이블이며, 매핑 규칙은 동일한 CSVM 파서가 읽을 수 있는 메타데이터 라인으로 기술된다.

이 접근법의 핵심은 파서 독립성이다. 기존 Perl·Python 파서는 파일 내용과 메타데이터를 구분해 객체화하고, 사전 파일을 로드하면 자동으로 매핑 로직을 적용한다. 따라서 사용자는 별도의 변환 스크립트를 작성할 필요 없이, 사전 파일만 교체하면 다른 실험실·프로젝트·표준에 맞춰 데이터를 재구성할 수 있다.

기술적 구현에서는 파이썬 csv 모듈을 확장한 csvm 모듈이 사용된다. csvm.load()는 파일을 라인 단위로 읽어 메타데이터와 데이터 블록을 구분하고, csvm.translate(dict_file, src_file, dst_file) 함수는 사전 파일을 파싱해 매핑 딕셔너리를 만든 뒤, 원본 데이터를 목표 형식에 맞게 재배열한다. 변환 과정에서 단위 변환(예: mg → µg)이나 문자열 포맷 변경(예: “pH 7.4” → 7.4)도 사전 내에 간단한 파이썬 표현식으로 정의할 수 있다.

화학 분야 예시에서는 실험 결과 CSV(열: ‘SampleID’, ‘Concentration(mg/L)’, ‘pH’)를 국제 표준 CSV(열: ‘ID’, ‘Conc(µg/mL)’, ‘pHvalue’)로 변환한다. 사전 파일에 ‘Concentration(mg/L) → Conc(µg/mL) : lambda x: float(x)*1000’ 와 같은 라인을 넣음으로써, 파서는 자동으로 수치 변환까지 수행한다.

이러한 설계는 장기 보존과 데이터 교환에 큰 장점을 제공한다. 메타데이터가 파일 자체에 포함돼 있기 때문에, 파일이 별도의 스키마 파일이나 데이터베이스에 의존하지 않는다. 또한 사전 파일만 공유하면, 서로 다른 연구팀 간에 동일한 원시 데이터를 다양한 표준에 맞춰 재사용할 수 있다.

하지만 몇 가지 제한점도 존재한다. 첫째, 메타데이터 라인의 형식이 자유로운 만큼, 사전 작성 시 일관성을 유지하기 위한 가이드라인이 필요하다. 둘째, 복잡한 변환(예: 다중 열을 결합하거나 조건부 로직)은 현재 사전 표현식만으로는 구현이 어려워, 파이썬 스크립트와 병행해야 한다. 셋째, 대용량 파일(수 GB)에서는 현재 파서가 메모리 전체 로드 방식을 사용하므로, 스트리밍 처리 기능이 추가돼야 실용성이 높아진다.

전반적으로 CSVM 사전은 기존 CSV 기반 워크플로우에 메타데이터와 변환 로직을 깔끔히 삽입함으로써, 데이터 표준화·재사용·장기 보존을 촉진하는 실용적인 솔루션이라 할 수 있다.