블록체인 연합 학습으로 지속 가능한 소매업 실현: 협력적 수요 예측을 통한 폐기물 감소

초록

식품 폐기물 감소를 위한 정확한 수요 예측은 데이터 프라이버시 문제로 협력이 어려웠다. 본 연구는 블록체인 기반 연합 학습(FL)을 도입, 여러 소매점이 데이터를 공유하지 않고도 협력해 모델을 학습하는 방식을 제안한다. 월마트 데이터 실험 결과, FL 모델은 데이터를 완전히 공유한 중앙집중식 학습과 성능이 유사하며, 독립 학습보다 우수해 폐기물을 줄이고 효율을 높일 수 있음을 확인했다.

상세 분석

본 논문의 기술적 핵심은 데이터 프라이버시를 보존하면서 집단 지능을 활용하는 ‘연합 학습(Federated Learning, FL)’ 프레임워크와 그 신뢰성과 투명성을 보장하기 위한 ‘블록체인’ 기술의 융합에 있다. 연구는 특히 유통기한이 짧은 상품을 다루는 식료품 소매업에 초점을 맞추고 있다.

먼저, 연합 학습 접근법은 ‘수평적(Horizontal) FL’을 채택했다. 이는 참여자(각 소매점)의 데이터가 서로 다른 고객 집단(샘플 공간)에 대해 유사한 특징(예: 주간 판매액, 휴일 여부, 온도)을 공유하는 시나리오에 적합하다. 각 매장은 로컬 데이터로 신경망 모델을 학습한 후, 중앙 서버에 모델 파라미터(가중치)만을 전송한다. 서버는 FedAvg 알고리즘을 사용해 이러한 업데이트를 안전하게 집계(Secure Aggregation)하여 새로운 글로벌 모델을 생성하고, 이를 다시 각 매장에 배포하는 과정을 반복한다. 이를 통해 개별 매장의 원본 데이터는 외부로 유출되지 않으면서도, 전체 네트워크의 지식이 모델에 축적된다.

보안 강화를 위해 ‘SecAgg+’ 프로토콜과 ‘글로벌 차등 프라이버시(Global Differential Privacy)‘를 적용했다. SecAgg+는 가산적 마스킹과 비밀 키 공유를 통해 서버가 개별 클라이언트의 업데이트를 볼 수 없도록 하여, 중간자 공격 등을 방지한다. 차등 프라이버시는 집계된 글로벌 모델에 잡음을 추가함으로써 최종 모델에서 개별 데이터 점의 유출 가능성을 근본적으로 차단한다.

가장 혁신적인 부분은 블록체인과 IPFS(분산 파일 시스템)의 통합이다. 각 학습 라운드 후 생성된 글로벌 모델의 가중치는 IPFS에 저장되어 고유한 콘텐츠 식별자(CID)를 부여받는다. 이 CID와 메타데이터(타임스탬프, 라운드 번호 등)는 이더리움 블록체인에 기록된다. 클라이언트는 서버로부터 받은 모델 업데이트의 CID를 블록체인에 저장된 값과 비교하여 무결성을 검증할 수 있다. 이는 서버가 악의적으로 모델을 변조하는 것을 방지하고, 시스템 운영의 완전한 투명성과 검증 가능성을 제공한다.

실험 결과, FL 모델의 평균 제곱 오차(MSE)는 데이터를 완전히 공유한 중앙집중식 학습에 근접한 성능을 보였으며, 데이터를 전혀 공유하지 않은 독립 학습 방식보다 현저히 우수했다. 이는 프라이버시 비용 없이도 협력을 통한 예측 정확도 향상이 가능함을 의미하며, 결국 더 정확한 수요 예측으로 재고 과잉 및 식품 폐기물을 줄일 수 있는 실질적인 경로를 제시한다.