오픈에어 인용 그래프를 32GB로 압축한 손쉬운 접근 방법

초록

오픈에어(OpenAIRE) 전체 인용 그래프(200 백만 논문·2 십억 인용)를 32 GB 규모의 CSV 파일로 정제·압축하고, 파이썬·PySpark 파이프라인을 공개했다. 핵심은 원본 ID를 32비트 정수형 nodeID로 매핑하고, 불필요한 메타데이터를 제외해 메모리와 저장공간을 크게 절감한 것이다.

상세 분석

본 논문은 방대한 오픈에어(OpenAIRE) 지식 그래프를 연구자들이 일반적인 PC 환경에서도 활용할 수 있도록 데이터 구조와 파이프라인을 재설계한 사례다. 먼저 원본 덤프는 2.5 TB에 달하는 JSON 파일군으로, 압축 해제 시 메모리 요구량이 수백 기가바이트에 이른다. 저자들은 논문·인용 관계만을 목표로 삼아, 출판물 파일과 관계 파일 중 ‘Cites’ 타입만 추출하였다. 핵심 기술은 두 단계로 나뉜다. 첫째, 출판물 JSON을 평탄화하고 DOI, 제목, 저자 등 핵심 필드만 남겨 ‘publications_large.csv’(179 GB)와 ‘publications.csv’(6 GB)로 저장한다. 둘째, 모든 OpenAIRE 고유 식별자를 32비트 정수형 nodeID로 재인코딩하고, 해시 테이블을 이용해 양방향 매핑을 구축한다. 이 과정에서 PySpark를 활용해 분산 처리와 메모리 효율성을 확보했으며, 최종 인용 관계는 ‘citations.csv’(39 GB)라는 단순 edge list 형태로 변환한다.

데이터 검증 단계에서는 원본 엔트리 손실 여부와 필드 완전성을 자동화 스크립트로 확인해, 변환 과정에서 정보 손실이 없음을 입증하였다. 저장 용량 대비 메모리 사용량을 pandas DataFrame 기준으로 측정했을 때, ‘citations.csv’와 ‘publications.csv’는 각각 16 GB 메모리만으로 로드 가능하므로, 일반적인 랩탑(16–32 GB RAM)에서도 전체 그래프 탐색이 가능하다.

또한 저자들은 Zenodo와 GitHub에 각각 데이터와 파이프라인 코드를 공개함으로써 재현 가능성을 높였으며, 향후 OpenAIRE 최신 릴리즈에 대해 동일 절차를 적용할 수 있는 자동화된 워크플로우를 제공한다. 논문은 기존 오픈 데이터(예: OpenAlex, Crossref)와 비교해, OpenAIRE가 학술 메타데이터와 전자출판물 전반을 포괄하지만 중복 제거와 정제 과정이 부족하다는 점을 지적한다. 따라서 본 작업은 OpenAIRE의 방대한 커버리지를 유지하면서도, 연구자들이 네트워크 과학, 서지학, 그래프 신경망 학습 등에 바로 활용할 수 있는 실용적인 데이터 레이어를 제공한다는 점에서 의의가 크다.

한계점으로는 ‘publications_large.csv’가 179 GB로 여전히 큰 편이며, 고성능 클러스터 없이 전체 메타데이터를 다루기는 어렵다는 점을 인정한다. 또한 nodeID 매핑이 일회성이라, 원본 OpenAIRE ID와의 연계가 필요할 경우 별도 해시 테이블을 보관해야 한다. 향후 작업에서는 압축 포맷(parquet 등) 적용과 증분 업데이트 메커니즘을 도입해 저장 효율과 최신성 유지 방안을 모색할 수 있다.