누락 데이터 직접 예측: CRIB로 보는 시계열 예측 혁신

초록

본 논문은 기존의 “보간 후 예측” 방식이 누락값에 대한 실제 정답이 없기 때문에 오히려 데이터 분포를 왜곡하고 예측 성능을 저하시킨다는 실증적 증거를 제시한다. 이를 극복하기 위해 정보 병목(Information Bottleneck) 원리를 기반으로 한 CRIB(Consistency‑Regularized Information Bottleneck) 프레임워크를 제안한다. CRIB는 패치 임베딩, 통합 변량 어텐션, 그리고 데이터 증강 기반 일관성 정규화를 결합해 누락된 시계열을 직접 예측한다. 네 개 실제 데이터셋에서 평균 18% 이상의 정확도 향상을 달성했으며, 높은 누락 비율에서도 견고한 성능을 보인다.

상세 분석

이 연구는 먼저 다변량 시계열 예측(MTSF)에서 누락값이 존재할 경우, 기존 방법들이 두 단계(보간 → 예측) 혹은 보간을 진행하면서 동시에 학습하는 엔드‑투‑엔드 방식을 채택하고 있음을 지적한다. 그러나 누락값에 대한 “정답”이 없다는 근본적인 한계 때문에, 보간 모듈은 예측 손실만을 목표로 학습되며, 이는 실제 데이터 분포와 변량 간 상관관계를 크게 왜곡한다. 논문은 PEMS‑BAY 데이터셋(40% 누락)에서 t‑SNE 시각화와 상관 행렬을 통해, 보간 후 예측 모델이 원본 데이터와 크게 차이나는 클러스터를 형성하고, 변량 간 진정한 상관성을 회복하지 못함을 실증한다. 특히, 단순히 관측된 데이터에 직접 적용한 TimeXer가 보간‑예측 파이프라인보다 우수한 결과를 보인 점은 보간 단계가 오히려 노이즈를 증폭시킨다는 강력한 증거다.

이러한 문제점을 해결하기 위해 저자들은 정보 병목 원리를 도입한다. 정보 병목은 입력 Xₒ를 압축하면서 목표 Y에 대한 정보를 최대한 보존하는 라그랑주 최적화 문제로, I(Z;Xₒ)−β·I(Y;Z) 를 최소화한다. 여기서 Z는 압축된 잠재 표현이며, β는 압축과 정보 보존 사이의 균형을 조절한다. CRIB는 이 원리를 실현하기 위해 세 가지 핵심 모듈을 설계한다. 첫째, 패치 임베딩 단계에서는 Temporal Convolutional Network(TCN)를 이용해 관측된 값이 포함된 짧은 패치를 고차원 특징으로 변환한다. 이는 시계열 길이를 T/P 로 축소해 메모리·연산 비용을 P² 배 감소시키면서, 지역적 시간 패턴을 효과적으로 포착한다. 둘째, 통합 변량 어텐션(Unified‑Variate Attention)은 모든 패치 토큰을 하나의 시퀀스로 평탄화한 뒤, 전통적인 Q‑K‑V 어텐션을 적용해 intra‑variates와 inter‑variates 관계를 동시에 학습한다. 별도의 구조적 제약 없이 모든 변량 간 상관을 자유롭게 모델링함으로써, 누락으로 인해 파괴된 상관구조를 복원한다. 셋째, 일관성 정규화(Consistency Regularization)는 데이터 증강(예: 마스크 무작위 변형, 가우시안 노이즈 추가)으로 생성된 두 뷰 X와 Xᵃᵘᵍ에 대해 동일한 인코더를 통과시킨 후, 얻어진 Z와 Zᵃᵘᵍ 사이의 거리(예: L2 혹은 코사인 유사도)를 최소화한다. 이는 모델이 누락 패턴에 강인하도록 만들며, 특히 높은 누락 비율에서 과적합을 방지한다.

학습 과정에서는 변분 추정으로 I(Z;Xₒ)를 KL 발산 형태로 근사하고, I(Y;Z) 항은 예측 손실(예: MSE)과 연결시켜 최적화한다. 최종 예측은 단순 2‑layer MLP을 사용해 Z를 미래 시점 S에 매핑함으로써, 복잡한 디코더가 아니라 고품질 표현 자체가 예측 성능을 좌우한다는 점을 강조한다.

실험에서는 4개의 실제 데이터셋(PEMS‑BAY, Traffic, Electricity, Weather 등)에서 누락 비율을 10%~70%까지 변동시키며, 기존 최첨단 보간‑예측 모델(TimeNet+TimeXer, BiTGraph, etc.)과 비교한다. 결과는 평균 18% 이상의 MAE/ RMSE 감소와, 특히 50% 이상 누락 상황에서 CRIB가 다른 모델을 크게 앞선다는 점을 보여준다. 또한, ablation study를 통해 패치 크기, β 값, 일관성 정규화 강도 등이 성능에 미치는 영향을 정량화하고, 각 모듈이 독립적으로 기여함을 입증한다.

결론적으로, 이 논문은 “보간이 반드시 필요하다”는 기존 패러다임을 깨고, 정보 병목 기반의 직접 예측 접근법이 누락 데이터 환경에서 더 신뢰할 수 있는 예측을 제공한다는 중요한 통찰을 제공한다.