다중 레벨 웨이브렛 분해 네트워크로 구현하는 해석 가능한 시계열 분석

본 논문은 시계열 분석에 있어 시간‑도메인 접근과 주파수‑도메인 접근을 통합하는 새로운 딥러닝 프레임워크를 제시한다. 기존의 RNN, LSTM, CNN 기반 모델들은 주로 시간‑도메인 특징에 의존해 왔으며, 주파수 정보를 직접 활용하기는 어려웠다. 반면, 웨이브렛 변환은 시간‑주파수 해석에 강점을 가지고 있지만, 고정된 필터와 별도 전처리 단계로 인해 딥러닝과의 시너지 효과를 내기 힘들었다. 이를 해결하기 위해 저자들은 Multilevel Wavelet Decomposition Network(mWDN)를 설계했다. mWDN은 전통적인 다중 레벨 이산 웨이브렛 분해(MDWD)의 구조를 그대로 차용하면서, 각 레벨의 저역통과 고역통 필터를 학습 가능한 가중치 행렬 W_l(i), W_h(i) 로 구현한다. 입력 시계열 x 은 레벨 i‑1 의 저주파 서브시리즈 x_l(i‑1) 에 대해 W_l(i)와 W_h(i) 를 각각 선형 변환하고 시그모이드 활성화 σ 를 적용해 중간 변수 a_l(i), a_h(i) 를 만든다. 이후 평균 풀링을 통해 다운샘플링하고, 최종적으로 저·고주파 서브시리즈 x_l(i), x_h(i) 를 얻는다. 초기 가중치는 Daubechies‑4 웨이브렛 계수를 그대로 매핑하고, 작은 잡음 ε 을 더해 학습 가능하도록 한다. 이렇게 하면 모델은 데이터에 맞는 최적의 주파수 변환을 자동으로 학습하면서도 전통적인 웨이브렛이 제공하는 시간‑주파수 해석력을 유지한다. mWDN 위에 두 가지 응용 모델을 구축한다. 첫 번째는 시간 시계열 분류(TSC)를 위한 Residual Classification Flow(RCF)이다. RCF는 각 레벨 i 에서 추출된 x_h(i), x_l(i) 를 입력으로 받아 독립적인 분류기 u(i) 를 구성한다. 여기서 u(i) 는 MLP, CNN 등任意의 네트워크가 될 수 있다. 각 u(i) 의 출력은 잔차 연결을 통해 누적되며, ĉ(i)=S(ĉ(i‑1)+u(i)) 와 같이 소프트맥스 S 를 적용해 최종 클래스 확률을 산출한다. 손실은 각 레벨별 교차 엔트로피 J̃_c(i) 를 가중 평균해 J_c 로 정의하고, 깊은 감독(deep supervision)을 적용해 초기 레벨도 의미 있는 특징을 학습하도록 유도한다. 이 구조는 다중 해상도(time‑frequency) 정보를 동시에 활용하면서, 깊은 네트워크에서 흔히 발생하는 기울기 소실 문제를 잔차 학습으로 완화한다. 두 번째는 시계열 예측(TSF)을 위한 multi‑frequency Long Short‑Term Memory(mLSTM)이다. mLSTM은 mWDN의 최종 레벨 N 에서 얻은 고주파 서브시리즈 x_h(1)…x_h(N) 와 저주파 x_l(N) 을 각각 독립 LSTM에 입력한다. 각 LSTM은 해당 서브시리즈의 미래 값을 예측하고, 모든 LSTM의 출력을 Fully‑Connected 레이어로 합쳐 최종 예측 ŷ 을 만든다. 학습은 두 단계로 진행한다. 1) 사전 학습 단계에서는 실제 목표값 y 를 MDWD로 분해해 웨이브렛 계수 y_p 를 얻고, LSTM 출력과 y_p 간의 MSE J̃_f 를 최소화한다. 2) 미세조정 단계에서는 전체 파라미터를 사용해 원 시계열 y 와 ŷ 간의 MSE J_f 를 직접 최적화한다. 이렇게 하면 각 주파수 대역별 특성을 별도로 학습하면서도 최종적으로 전체 시계열을 정확히 예측한다. 학습 과정에서 가중치가 초기 웨이브렛 값에서 크게 벗어나지 않도록 정규화 항 α‖W_l(i)−W̃_l(i)‖²_F 와 β‖W_h(i)−W̃_h(i)‖²_F 를 손실에 추가한다. 여기서 W̃_l(i), W̃_h(i) 는 ε=0인 초기 필터이며, α, β 는 경험적으로 설정한 하이퍼파라미터이다. 이 정규화는 “파라미터 망각” 현상을 방지하고, 웨이브렛 변환이 과도하게 왜곡되는 것을 억제한다. 실험에서는 40개의 UCR 시계열 분류 데이터셋에 대해 RCF를 평가했다. 비교 대상은 RNN, LSTM, FCN, ResNet, InceptionTime 등 최신 모델이며, RCF는 평균 정확도에서 2~3%p 상승을 기록했다. 특히, 고주파 레벨을 활용한 경우 복잡한 패턴을 효과적으로 포착함을 확인했다. 시계열 예측에서는 실제 사용자 볼륨(일일 방문자 수) 데이터에 mLSTM을 적용했으며, MAE와 RMSE 모두 기존 LSTM, ARIMA, Prophet보다 우수한 결과를 보였다. 또한, 모델 해석성을 위해 중요도 분석 기법을 제안했다. 각 레벨·시점에 대한 그래디언트 기반 기여도를 계산해, 특정 레벨(예: 2‑level 고주파)과 특정 시점(피크 구간)에서 모델이 크게 의존함을 시각화했다. 이를 통해 mWDN 기반 모델이 “왜” 특정 예측을 하는지에 대한 직관적 설명을 제공, 해석 가능한 딥러닝에 한 걸음 다가섰음을 의미한다. 결론적으로, mWDN은 웨이브렛 변환의 주파수 해석력을 딥러닝의 학습 능력과 결합한 혁신적 구조이며, RCF와 mLSTM을 통해 분류와 예측 모두에서 현존 최고 성능을 달성하고, 중요도 분석을 통해 모델 투명성을 확보한다. 향후 연구에서는 다양한 웨이브렛 종류와 비선형 변환, 그리고 멀티모달 시계열 데이터에 대한 확장 가능성을 탐색할 예정이다.