분포적 강인성 정규화를 통한 다변량 시계열 결측값 복원

초록

본 논문은 관측된 데이터와 실제 데이터 생성 분포 사이의 불일치를 고려한 새로운 손실 함수 DRIO를 제안한다. DRIO는 재구성 오차와 Wasserstein 불확실성 집합 내 최악의 분포와의 Divergence를 동시에 최소화하며, 이를 효율적인 이중 형태로 변환해 딥러닝 백본과 결합한다. 실험 결과 MCAR·MNAR 상황 모두에서 기존 방법들을 능가한다.

상세 분석

본 연구는 다변량 시계열(MTS) 결측값 복원 문제를 “관측 분포와 진정한 데이터 생성 분포 사이의 불일치”라는 근본적인 편향에 초점을 맞추어 재정의한다. 기존 방법들은 주로 관측된 엔트리들에 대한 L2 재구성 손실을 최소화하거나, 관측 데이터와 모델이 생성한 데이터 간의 분포 정렬을 목표로 하지만, 이러한 접근은 관측 데이터가 편향된 샘플이라는 전제 하에 과적합 위험이 크다. 특히 비정상성(non‑stationarity)과 MNAR(missing‑not‑at‑random) 메커니즘이 결합될 경우, 관측 마스크 자체가 데이터 매니폴드의 특정 영역을 체계적으로 배제하게 되므로, 단순한 점‑와이즈 손실은 충분히 일반화되지 못한다.

DRIO는 두 가지 목표를 동시에 최적화한다. 첫째, 기존의 재구성 손실 Rθ를 유지해 관측된 값에 대한 정확한 복원을 보장한다. 둘째, 관측 데이터의 평균‑임퓨팅(mean‑imputed) 경험적 분포 bPN을 중심으로 반경 ρ인 Wasserstein 불확실성 집합 Bρ(bPN) 내에서 가장 불리한(최악의) 분포 Q와의 Unbalanced Sinkhorn Divergence Sε,τ(Q, bPθ)를 최소화한다. 여기서 Sinkhorn Divergence는 엔트로피 정규화와 마진 완화(tau)를 통해 미분 가능하고 대규모 GPU 연산에 적합하도록 설계되었으며, 질량 보존을 완화해 이상치와 희소 샘플에 대한 안정성을 제공한다.

핵심 이론적 기여는 Theorem 3.2이다. 무한 차원의 확률 측정 Q에 대한 sup 문제를 라그랑주 승수 γ를 도입해 이중형식으로 변환하고, 최적 Q가 결국 N개의 결정적 적대 샘플 ζ(i)로 구성된 이산 경험적 분포 bQZ 로 수축된다는 점을 증명한다. 따라서 원래의 min‑max 문제는 “adversarial trajectory batch Z”를 탐색하는 유한 차원 최적화로 축소된다. 이 변환은 기존의 Wasserstein‑GAN이나 Distributionally Robust Optimization(DRO)에서 흔히 보는 “dual‑form” 접근과 유사하지만, 시계열 특유의 텐서 구조와 비대칭 마스크를 동시에 처리하도록 설계된 것이 차별점이다.

알고리즘적으로는 두 단계 교대 최적화(Algorithm 1)를 채택한다. (1) 현재 θ에 대해 고정된 관측 마스크와 입력을 이용해 재구성 손실과 Sinkhorn Gradient를 계산하고, (2) γ와 Z를 업데이트해 최악의 분포를 근사한다. 이 과정은 자동 미분 프레임워크 내에서 완전하게 미분 가능하므로, RNN, TCN, ST‑GNN, 혹은 최신 Diffusion‑based 임퓨터와 같은 다양한 백본에 그대로 적용할 수 있다.

실험에서는 10개의 공개 데이터셋(교통, 의료, 산업 센서 등)을 대상으로 MCAR와 MNAR(10 %, 50 %, 90 % 누락) 상황을 모두 테스트했다. 평가 지표는 RMSE, MAE, 그리고 분포 정렬을 측정하는 Wasserstein‑2 거리 및 FID‑like 점수를 포함한다. DRIO는 대부분의 베이스라인(BRITS, GAIN, CSDI, SCVAE 등)보다 평균 5 %~12 %의 RMSE 개선을 보였으며, 특히 높은 누락 비율(90 %)과 MNAR 조건에서 그 차이가 두드러졌다. Pareto‑front 분석 결과, DRIO는 재구성 정확도와 분포 정렬 사이에서 가장 균형 잡힌 해를 제공한다는 점이 확인되었다.

한계점으로는 (i) ρ와 γ의 하이퍼파라미터 선택이 데이터 특성에 민감할 수 있다는 점, (ii) 대규모 실시간 스트리밍 환경에서 Sinkhorn 연산이 여전히 상대적으로 비용이 높다는 점을 들 수 있다. 향후 연구에서는 적응형 ρ 스케줄링, 메모리 효율적인 Sinkhorn 근사, 그리고 비정상성 감지를 위한 메타‑학습 기법과의 결합을 제안한다.