ACFormer: 자동 컨볼루션 인코더로 비선형성을 완화한 시계열 예측 모델

초록

본 논문은 시계열 예측에서 선형 모델이 고주파·비선형 신호를 놓치는 문제를 해결하고자, 컨볼루션 레이어의 개별 수용 영역(Individual Receptive Field)을 분석한다. 이를 바탕으로 공유 패치 압축, 시간 게이트 어텐션, 독립 패치 확장으로 구성된 ACFormer를 제안한다. 실험 결과, 다중 변수 벤치마크에서 기존 선형·Transformer 기반 모델을 일관적으로 능가하며 고주파 성분 복원 능력이 크게 향상됨을 보인다.

상세 분석

본 연구는 시계열 예측(TSF)에서 “선형‑비선형 트레이드오프”라는 근본적인 딜레마를 재조명한다. 최근 DLinear, PatchTST 등 선형 인코더가 전역 트렌드와 계절성을 효율적으로 포착한다는 사실이 밝혀졌지만, 비정상성·고주파 변동을 처리하는 데는 한계가 있다. 저자들은 이러한 한계를 정량화하기 위해 기존의 평균 수용 영역(Conventional Receptive Field) 대신 “개별 수용 영역(Individual Receptive Field, IRF)”을 정의한다. IRF는 채널별 그래디언트를 보존함으로써, 각 변수와 출력 채널 사이의 미세한 영향 관계를 시각화한다. 이를 통해 “피벗 채널(pivot channels)”이라 불리는 핵심 변수들이 존재함을 발견하고, 채널‑와이즈 어텐션이 이러한 피벗을 명시적으로 강조한다는 점을 확인한다.

또한, 저자들은 IRF 기반 “분산 어텐션(Variance Attention)”을 제안한다. 이는 시간축상의 그래디언트 변동성을 측정해 채널 간 동적 민감도를 정량화한다. 실험적으로 Solar Energy 데이터(137변수)에서 분산 어텐션과 iTransformer의 채널‑와이즈 어텐션이 거의 동일한 피벗 채널을 강조함을 보여, 컨볼루션이 암묵적으로 학습하는 구조적 의존성이 어텐션 메커니즘과 본질적으로 동일함을 증명한다.

비선형성 검증을 위해 합성 신호(다중 주기 + 가우시안 잡음)를 사용해 선형·컨볼루션 인코더‑디코더 조합을 4가지 구성으로 비교한다. 결과는 순수 선형 구조가 고주파 잔차를 거의 복원하지 못하고, 전적으로 컨볼루션 기반이 가장 높은 MSE 감소를 달성함을 보여준다. 흥미롭게도, 컨볼루션 인코더와 디코더 사이에 선형 프로젝션 레이어를 삽입하면 성능이 약간 향상되는데, 이는 초기 비선형 특성 추출은 컨볼루션이 담당하고, 이후 단계에서 선형 변환이 효율적으로 정보를 재구성한다는 설계 원리를 뒷받침한다.

이러한 분석을 토대로 제안된 ACFormer는 세 가지 핵심 모듈로 구성된다. ① 공유 패치 압축(Shared Patch Compression): 입력 시계열을 채널별로 독립적인 패치로 나누고, 스트라이드 컨볼루션(Kernel‑Depth)으로 다운샘플링하면서 다중 표현(M)을 생성한다. 이는 채널‑와이즈 어텐션의 Q/K/V 입력을 풍부하게 하며, 고주파와 저주파를 동시에 포착한다. ② 시간 게이트 어텐션(Temporal Gated Attention): 기존 멀티‑헤드 어텐션에 게이트 메커니즘을 도입해, 각 헤드의 시간적 중요도를 동적으로 조절한다. 게이트는 컨볼루션에서 추출된 비선형 특징과 선형 프로젝션된 키‑밸류 사이의 상호작용을 학습해, 불필요한 장기 의존성을 억제하면서도 중요한 변동을 강조한다. ③ 독립 패치 확장(Independent Patch Expansion): 디코더 단계에서 채널별로 별도의 전치(Transpose)와 1‑D 컨볼루션을 적용해, 압축된 시퀀스를 원래 길이(P)로 복원한다. 이때 각 채널은 독립적인 파라미터를 사용하므로, 변수별 고유한 주기·패턴을 재현할 수 있다.

전체 파이프라인은 (입력 → 공유 패치 압축 → 시간 게이트 어텐션 → 독립 패치 확장 → 출력) 순으로 흐르며, 학습은 MSE 기반의 표준 역전파로 진행된다. 복잡도 측면에서, 컨볼루션 스트라이드와 패치 크기 조절을 통해 연산량을 선형 모델 수준으로 낮출 수 있다.

실험에서는 ETT, Electricity, Traffic, Weather, Solar 등 7개의 공개 벤치마크를 사용해 24/48/96시간 예측을 수행하였다. ACFormer는 평균적으로 기존 최첨단(Informer, Autoformer, DLinear, PatchTST 등) 대비 4.2%~9.8%의 MAE/ MSE 개선을 기록했으며, 특히 고주파 성분이 풍부한 Solar 및 Traffic 데이터에서 가장 큰 격차를 보였다. Ablation Study에서는 (1) IRF 기반 변산 어텐션 제거, (2) 공유 패치 압축을 선형 임베딩으로 교체, (3) 게이트 없이 순수 어텐션 사용 시 모두 성능이 감소함을 확인했다. 또한, 파라미터 수와 FLOPs는 기존 선형 기반 모델과 동등하거나 약간 초과하지만, 추론 지연(latency)은 GPU 환경에서 1.2배 이내에 머물렀다.

결론적으로, 본 논문은 컨볼루션이 “암묵적 채널‑와이즈 어텐션” 역할을 수행한다는 새로운 관점을 제시하고, 이를 선형 프로젝션과 결합한 ACFormer 아키텍처가 비선형·고주파 시계열 예측에서 현존하는 선형·Transformer 모델을 체계적으로 능가함을 입증한다. 향후 연구는 다중 스케일 패치 설계와 자동화된 피벗 채널 탐지를 통해 더욱 경량화된 모델을 개발하는 방향으로 진행될 수 있다.