희소 이벤트 시계열 예측을 위한 증거 기반 트랜스포머 EVEREST

초록

EVEREST는 희소 이벤트를 다루는 다변량 시계열 예측을 위해 설계된 경량 트랜스포머 모델이다. 학습 단계에서만 작동하는 네 가지 보조 모듈(주의 집중 병목, 증거 기반 NIG 헤드, EVT 기반 GPD 헤드, 조기 탐지 프리커서 헤드)을 도입해 클래스 불균형, 장기 의존성, 불확실성 캘리브레이션, 꼬리 위험을 동시에 해결한다. 최종 추론 시에는 단일 분류 헤드만 사용해 0.81 M 파라미터로 높은 정확도와 낮은 연산량을 달성한다.

상세 분석

본 논문은 희소 이벤트(예: 태양 플레어, 산업 설비 고장) 예측에서 흔히 마주치는 세 가지 핵심 난제를 통합적으로 해결하고자 한다. 첫째, 극단적인 클래스 불균형으로 인해 표준 교차 엔트로피 손실이 희소 양성 샘플에 충분한 그래디언트를 제공하지 못한다. 이를 완화하기 위해 저자는 포컬 손실을 적용하고, 포컬 파라미터 γ를 0→2로 선형 anneal함으로써 학습 초기에 넓은 탐색을, 후기에 어려운 샘플에 집중하도록 설계하였다. 둘째, 장기 시계열 의존성을 효과적으로 요약하기 위해 기존의 전역 평균 풀링 대신 단일‑쿼리 어텐션 병목을 도입하였다. 이 병목은 학습 가능한 스코어 벡터 w∈ℝ^d 로 각 타임스텝에 가중치를 부여해, 약하지만 분산된 전조 신호를 강조한다. 복잡도는 O(T·d)이며 파라미터는 d개에 불과해 경량성을 유지한다. 셋째, 예측 확률의 캘리브레이션과 불확실성 분해를 위해 로그잇에 Normal‑Inverse‑Gamma(NIG) 분포 파라미터(μ, v, α, β)를 추정하는 증거 기반 헤드를 추가하였다. NIG는 베이지안 사후 평균과 분산을 폐쇄형으로 제공하므로 Monte‑Carlo 샘플링 없이 aleatoric·epistemic 불확실성을 동시에 정량화한다. 이는 특히 운영 단계에서 위험 임계값을 설정할 때 유용하다. 네 번째로, 극단값 이론(EVT)의 Generalized Pareto Distribution(GPD)을 로그잇 초과값에 적용해 꼬리 위험을 직접 학습한다. 배치 내 90% 분위수(u) 이상 로그잇을 초과값으로 정의하고, GPD 로그우도와 작은 정규화 항을 최적화함으로써 고위험 영역에 그래디언트 흐름을 재분배한다. 이는 희소 이벤트의 재현율을 높이는 데 기여한다. 또한, 조기 탐지를 위한 프리커서 헤드를 별도 바이너리 교차 엔트로피 손실로 학습시켜, 모델이 장기적인 전조 패턴을 인코딩하도록 유도한다. 이 네 가지 보조 손실은 λ_f, λ_e, λ_t, λ_p 로 가중합된 복합 손실 L = Σ λ_i L_i 에 포함되며, 상대적 비중만 조정하면 된다. 실험에서는 λ_f=0.8, λ_e=0.1, λ_t=0.1, λ_p=0.05가 기본값으로 제시된다.

모델 아키텍처는 입력 임베딩(선형 변환 + 스케일드 사인포지셔널 인코딩) → 6‑layer 트랜스포머 인코더(멀티‑헤드 셀프‑어텐션, FFN) → 단일‑쿼리 어텐션 병목 → 공유 MLP(128‑dim) → 네 개의 병렬 헤드(분류, NIG, GPD, 프리커서) 로 구성된다. 배포 시에는 분류 헤드만 사용하므로 추론 비용은 기존 트랜스포머와 동일하고, 파라미터 수는 약 0.81 M, FLOPs는 1.66 × 10⁷ 수준이다.

실험은 2010‑2023년 10년간의 SHARP‑GOES 태양 플레어 데이터(6가지 클래스, 24/48/72 h 예측)와 산업 이상 탐지 데이터셋(SKAB)에서 수행되었다. EVEREST는 C‑클래스 플레어에 대해 TSS 0.973/0.970/0.966, M5‑클래스에 대해 0.907/0.936/0.966을 기록했으며, ECE와 Brier 스코어에서도 우수한 캘리브레이션을 보였다. SKAB에서는 F1 98.16 %와 TSS 0.964를 달성, 기존 최첨단 모델을 능가했다. Ablation 연구에서는 어텐션 병목을 평균 풀링으로 교체했을 때 TSS가 최대 0.427 감소하고, 프리커서 헤드를 제거했을 때 M5‑72 h에서 TSS가 0.65 감소하는 등 각 모듈의 기여도가 명확히 확인되었다. 또한 λ_i와 초과값 분위수(u) 등에 대한 민감도 분석에서 성능이 넓은 범위에서 안정적임을 보여, 하이퍼파라미터 튜닝 부담이 낮다는 장점을 강조한다.

제한점으로는 고정 길이 윈도우 입력에 의존하고, 이미지 기반 데이터(예: 위성 사진)를 다루지 못한다는 점을 들었다. 향후 연구에서는 스트리밍 입력과 멀티모달(시계열+이미지) 통합을 목표로 확장할 계획이다. 전반적으로 EVEREST는 희소 이벤트 예측에서 정확도, 캘리브레이션, 꼬리 위험 평가를 동시에 만족시키는 실용적인 솔루션으로, 고위험 산업 및 과학 분야에 바로 적용 가능하다.