재현 가능한 워크플로우로 고고학 유물 이미지 데이터셋 구축하기

초록

이 기술 노트는 ADS(Archaeology Data Service)가 관리하는 구석기 시대 주먹도끼 이미지 컬렉션을 대상으로, 웹 스크래핑과 이미지 처리 파이프라인을 결합한 재현 가능한 워크플로우를 제시한다. 원본 이미지를 재배포하지 않으면서, UUID 기반 파일명, COCO 형식 JSON 메타데이터, 그리고 컴퓨터 비전으로 생성된 마스크 및 바운딩 박스와 같은 파생 데이터를 생성하여 머신러닝 친화적인 데이터셋으로 변환하는 방법을 소개한다.

상세 분석

이 논문이 제시하는 핵심 기술적 기여는 크게 두 가지로 구분된다. 첫째는 윤리적이고 재현 가능한 웹 스크래핑 프레임워크다. 단순한 데이터 수집을 넘어, 대상 서버의 robots.txt를 확인하고 요청 간 무작위 지연을 도입하여 서버 부하를 최소화하는 등 Paige(2024)가 제시한 최선의 스크래핑 관행을 충실히 따르고 있다. 특히 ADS 이용 약관을 준수하며 원본 이미지의 재배포를 금지하고 파생 데이터만 공개하는 접근법은 학술 데이터의 윤리적 사용에 대한 명확한 기준을 제시한다.

둘째는 ‘경량(classical) 컴퓨터 비전’에 기반한 전문화된 이미지 처리 파이프라인이다. 이 파이프라인의 강점은 복잡한 딥러닝 모델을 사용하지 않고도 특정 조건(단일 유물, 어두운 배경) 하에서 효과적인 세분화를 달성함으로써 높은 투명성과 재현성을 보장한다는 점이다. UUID를 파일명과 이미지 메타데이터(EXIF)에 동시에 기록하는 방식은 분산된 연구 환경에서 데이터 병합 시 발생할 수 있는 파일명 충돌 문제를 근본적으로 해결한다. 또한 생성된 COCO JSON 파일에 고고학적 메타데이터(출토지, 원재료 등)를 통합함으로써, 컴퓨터 비전 데이터셋이 단순한 객체 위치 정보를 넘어 학문적 문맥을 유지하도록 설계되었다.

그러나 논문은 이 워크플로우의 한계도 솔직히 명시한다. 이미지 처리 파이프라인은 매우 제한적인 사진 조건(단일 객체, 균일한 배경)에 최적화되어 있어, 다양한 고고학 이미지 컬렉션(예: 복잡한 배경, 다중 유물)에 적용하기 위해서는 배경 제거나 딥러닝 기반 분할 모델 등 추가 기술이 필요하다. 스크래퍼 또한 ADS의 특정 HTML 구조에 의존하고 있어, 다른 데이터 저장소나 웹사이트 구조 변경 시 수정이 불가피하다. 이는 본 워크플로우가 ‘완성된 도구’라기보다 ‘적응 가능한 패턴’으로 제시되고 있음을 보여준다. 궁극적으로 이 연구는 디지털 고고학과 데이터 과학의 교차점에서, 폐쇄적 웹 기반 컬렉션을 개방적이고 재사용 가능한 연구 인프라로 전환하는 구체적인 방법론을 제시함으로써 재현 가능 연구 실천에 기여한다.