경량 다중뷰 기반 단기 부하 예측

초록

본 논문은 단기 전력 부하 예측을 위해 단일값 임베딩과 스케일된 시간‑범위 입력을 결합한 경량 다중뷰 모델을 제안한다. 임베딩 드롭아웃을 도입해 특정 피처에 대한 과도한 의존을 방지하고, 파라미터 수를 크게 줄이면서도 여러 공개·비공개 데이터셋에서 경쟁력 있는 정확도를 달성한다.

상세 분석

이 연구는 전통적인 대규모 트랜스포머 기반 시계열 모델이 과적합과 불안정한 예측을 초래할 수 있다는 점에 주목한다. 이를 해결하기 위해 저자는 ‘다중뷰’라는 개념을 도입한다. 각 외생 변수(날씨, 휴일 등)를 하나의 뷰(view)로 보고, 각 뷰를 단일값 임베딩(single‑value embedding) 혹은 차원 d=1인 임베딩으로 압축한다. 이렇게 하면 임베딩 파라미터가 크게 감소하고, 메모리·연산 비용이 크게 절감된다.

시간 입력은 균등 간격이 아닌 ‘스케일된 시간‑범위’(scaled time‑range) 방식으로 설계된다. 과거 1년, 1주, 1일, 12시간, 6시간 등 의미 있는 시점만을 선택해 10개의 lag를 구성하고, 이를 행렬 형태로 스택한다. 이 접근법은 장기적인 계절성은 유지하면서도 입력 차원을 최소화한다.

임베딩 드롭아웃은 훈련 시 각 뷰의 임베딩을 베르누이 확률 p로 마스킹한다. 이는 특정 피처가 모델에 과도하게 지배적인 역할을 하는 것을 방지하고, 각 뷰의 기여도를 해석 가능하게 만든다. 또한, 드롭아웃은 모델의 일반화 능력을 향상시켜 잡음이 많은 데이터에서도 안정적인 성능을 보인다.

모델 구조는 기본 트랜스포머 인코더‑디코더를 사용한다. 임베딩된 입력 Z는 인코더를 통해 컨텍스트 H로 변환되고, 디코더는 교차‑어텐션을 이용해 H와 원본 입력 U를 결합해 최종 예측 Y를 생성한다. 디코더 레이어 수 L과 임베딩 차원 d는 실험을 통해 소규모(예: d=1, L=2) 설정에서도 충분히 좋은 결과를 얻음이 확인되었다.

실험에서는 캐나다( Hydro‑Québec, IESO)와 파나마(CND) 등 네 개의 실제 전력 부하 데이터셋을 사용하였다. 각 데이터셋은 8개의 피처(부하, 온도, 습도 등)를 포함하고, 테스트는 1일, 2일, 7일 예측 horizon에 대해 MAPE로 평가하였다. 비교 모델로는 TiDE, SARIMAX, TFT, N‑BEATS 등 최신 베이스라인을 채택했으며, 하이퍼파라미터 튜닝과 롤링‑윈도우 교차검증을 동일하게 적용하였다.

결과는 제안 모델이 파라미터 수가 수십만 수준(대형 트랜스포머는 수백만)임에도 불구하고 MAPE에서 대부분의 경우 베이스라인과 동등하거나 약간 우수함을 보여준다. 특히 잡음이 많은 CND 데이터와 데이터가 제한된 REM(1년) 데이터셋에서 과적합 현상이 현저히 감소하였다. 임베딩 드롭아웃을 비활성화한 경우 성능 저하가 관찰돼, 드롭아웃이 모델 안정성에 핵심적인 역할을 함을 확인했다.

한계점으로는 스케일된 시간‑범위가 도메인 지식에 의존한다는 점과, 단일값 임베딩이 복잡한 비선형 상호작용을 충분히 포착하지 못할 가능성이 있다. 향후 연구에서는 자동 lag 선택 메커니즘과 다중값 임베딩을 혼합한 하이브리드 구조를 탐색하고, 확률적 예측(예: 예측 구간)까지 확장할 계획이다.