수조 규모 예측 조정 기법

초록

본 논문은 대형 소매업체의 일일·주간·월간 판매량 예측을 4조 개가 넘는 시계열에 대해 계층적 일관성을 유지하도록 최적화 기반으로 조정하는 방법을 제시한다. 희소 행렬 A와 가중치 행렬 W를 이용한 제약 최소제곱 문제를 정의하고, 교대 투사, Dykstra 알고리즘, ADMM 등 세 가지 맞춤형 대규모 솔버를 구현·벤치마크한다. 또한 가중치를 1/예측값으로 설정하면 전통적인 share‑based(상향식) 조정과 동일한 해를 얻는 이론적 관계를 증명한다. 실험 결과, 8TB 메모리 인스턴스에서 47 213개의 제약식과 4 185 173 500개의 변수로 구성된 문제를 수십 분 안에 해결했으며, 비음수 제약이 자동으로 만족되는 경우도 확인하였다.

상세 분석

이 논문은 계층적 예측 조정(Hierarchical Forecast Reconciliation) 문제를 대규모 실무 환경에 적용하기 위해 수학적 모델링과 알고리즘 구현을 동시에 다룬다. 먼저, 원시 예측 벡터 (\hat y)와 목표 조정 벡터 (y) 사이의 거리 함수를 가중 유클리드 거리 (|y-\hat y|_W^2) 로 정의하고, 계층 구조를 나타내는 희소 행렬 (A)와 비음수 제약 (y\ge0) 를 결합한 제약 최소제곱 문제(식 1)를 제시한다. 여기서 (A)는 0, 1, −1 로 구성된 매우 큰 행렬이며, 행 수는 47 213, 열 수는 4 185 173 500에 달한다.

문제의 특성상 일반적인 내부점법 기반 솔버(CVXPY, ECOS 등)는 스케일링 문제와 메모리 제한으로 수렴하지 못한다. 저자들은 이를 극복하기 위해 세 가지 맞춤형 알고리즘을 설계하였다.

1. 교대 투사(Alternating Projections): 두 convex 집합 ( {y\mid Ay=0})와 ( {y\mid y\ge0}) 사이를 번갈아 투사한다. 투사 연산은 각각 (y \leftarrow y - W^{-1}A^\top (AW^{-1}A^\top)^{-1}Ay) 와 (y \leftarrow \max(y,0)) 로 구현되며, 희소 행렬 연산만으로 O(nnz) 시간에 수행된다. 수렴 보장은 없지만 실험에서는 빠른 근사 해를 제공한다.

2. Dykstra 알고리즘: 교대 투사의 변형으로, 각 투사 단계에 보조 변수(p, q)를 도입해 정확한 투사점을 보장한다. 비선형 집합(비음수 정규체)에도 수렴성이 증명되어, 최적해에 근접한 결과를 얻는다.

3. ADMM(Alternating Direction Method of Multipliers): 원문 문제를 변수 분할 형태 (\min_{y,z}\ (y-\hat y)^\top W (y-\hat y) + \mathbf{1}_{z\ge0}) s.t. (Ay=0,\ y=z) 로 재구성하고, 스케일에 강인한 라그랑주 승수를 이용한다. y‑업데이트는 KKT 조건을 이용한 선형 시스템 해결(프리컴퓨팅 가능한 행렬 (H=2W+\rho I)와 RHS)으로, z‑업데이트는 단순 비음수 투사이다. ADMM은 원시·쌍대 잔차를 기준으로 조기 종료할 수 있어, 수십 회 반복만에 충분히 정확한 해를 얻는다.

이론적 기여로는 가중치를 (\omega_i = 1/\hat y_i) 로 설정하고, (A)의 행이 서로 겹치지 않을 때(즉, 단순 트리 구조) 최소제곱 해가 자동으로 비음수를 만족한다는 정리(정리 4.1)를 제시한다. 또한, 트리 기반 계층에서 상향식(share‑based)과 하향식(aggregate‑based) 조정이 각각 “top‑heavy”와 “bottom‑heavy” 가중치 스키마의 극한 해임을 보이는 정리(정리 4.2)를 증명한다. 이는 기존의 share‑based 방법이 최적화 기반 접근법의 특수 경우임을 수학적으로 뒷받침한다.

실험에서는 AWS u7i‑8tb.112xlarge 인스턴스(8 TB RAM)를 사용해 실제 소매 데이터(18개월, 5개의 서로 다른 예측 집합)를 조정하였다. 데이터는 SKU‑레벨 주간 예측(수억 건)부터 제품군·패밀리·정렬 유형별 일·월별 예측까지 포함한다. 제약 행렬 A는 pandas의 groupby 연산으로 자동 생성했으며, 전체 파이프라인은 Python, Pandas, SciPy.sparse 로 구현되었다. 결과적으로, ADMM이 가장 안정적인 수렴을 보였으며, 교대 투사와 Dykstra는 초기 몇 회 반복에서 빠른 근사값을 제공하지만 최적성 보장은 부족했다. 또한, 가중치 1/예측값을 적용했을 때 비음수 제약이 불필요함을 확인함으로써 메모리·시간 절감 효과를 입증했다.

전반적으로 이 논문은 “수조 규모”라는 실질적 한계를 넘어서는 예측 조정 프레임워크를 제시하고, 대규모 희소 선형 제약을 다루는 최적화 알고리즘 설계와 구현 노하우를 상세히 제공한다. 이는 데이터 과학, 공급망 최적화, 그리고 대형 전자상거래 기업의 수요 예측 파이프라인에 직접적인 적용 가능성을 열어준다.