데이터의 출처를 추적하는 새로운 방법, 제조업의 부품 명세서 모델 도입

초록

이 논문은 복잡한 데이터 생태계에서 데이터의 출처와 사용 내역을 투명하게 추적하기 위한 방법으로, 제조업의 ‘부품 명세서(Bill of Materials, BoM)’ 개념을 차용한 모델을 제안한다. 데이터와 관련 아티팩트(소프트웨어, 모델, 라이선스 등)를 BoM으로 정의하고, 각 실행 시점의 실제 정보를 ‘Lot 명세서(Bill of Lots, BoL)‘로 기록함으로써 데이터의 흐름을 종단간 추적할 수 있는 게이트웨이 ‘dataBoM’의 설계와 구현을 소개한다. 또한 블록체인 기술을 활용하여 변경 불가능한 거래 기록을 생성하는 방안을 제시한다.

상세 분석

본 논문이 제안하는 ‘데이터 BoM 모델’의 핵심 기술적 통찰은 데이터 공급망을 제조업의 물리적 공급망과 유사하게 모델링하여 구조화된 추적 체계를 구축한다는 점이다. 기존의 워크플로우 시스템이 실행 과정에 초점을 맞춘다면, BoM 모델은 데이터, 소프트웨어 버전, 학습 모델 파라미터, 라이선스, 인력 등 실험에 관여된 모든 정적·동적 ‘아티팩트’를 ‘어셈블리’ 단위로 묶어 명시적으로 관계를 정의한다. 이는 단순한 프로세스 기록을 넘어, 데이터 생태계의 풍부한 컨텍스트를 포착하는 데 의미가 있다.

구현된 dataBoM 게이트웨이는 GraphQL을 기반으로 하여 유연한 API를 제공하며, MongoDB에 BoM/BoL 정보를 저장한다. 중요한 설계 선택은 BoM에 정의된 각 데이터 소스와 아티팩트에 대해, 실행 시 생성되는 BoL에 ‘그림자 데이터’ 항목을 만들어 동적 런타임 값(예: 특정 API 호출 결과, 실시간 데이터 값)을 저장하는 것이다. 이를 통해 정적 설계(BoM)와 동적 실행 기록(BoL)을 연결함으로써 특정 데이터가 어디에서 왔으며(추적, Tracing), 이후 어떤 실험에 사용되었는지(추적, Tracking)를 양방향으로 질의할 수 있는 기반을 마련한다.

또한 블록체인 통합에 대한 논의는 이 모델의 확장성을 보여준다. 블록체인은 다수의 비신뢰 관계 당사자 간의 데이터 거래 내역을 변경 불가능하고 부인할 수 없게 기록하는 ‘신뢰 레이어’ 역할을 할 수 있다. 논문은 BoM 메타데이터에 블록체인 주소를 저장하고, 런타임에 스마트 계약을 호출하여 데이터 접근 권한을 확인하거나 유료 데이터에 대한 결제를 처리하는 시나리오를 언급한다. 이는 데이터 경제 활성화와 책임성 있는 AI 시스템 구축이라는 사회적 요구에 기술적으로 응답하는 접근법이다.