웹 규모 시계열 비전 분석을 위한 탈출 탐색 최적화기 EEO TFV

초록

본 논문은 웹 규모의 다변량 시계열 예측과 의료 영상 분할에 적용 가능한 경량형 Transformer와 새로운 최적화 알고리즘인 Escape‑Explore Optimizer(EEO)를 제안한다. EEO는 Sharpness‑Aware Minimization(SAM) 기반에 부정곡률 탈출과 SGLD‑형 탐색을 결합해 급격한 손실 지형의 샤프 최소점과 고차원 사다리꼴 함정을 회피한다. 실험 결과 11개 시계열 벤치마크와 Synapse 의료 영상 데이터에서 기존 최첨단 모델과 동등하거나 우수한 성능을 보이며, 일반화·안정성 측면에서도 향상을 확인하였다.

상세 분석

EEO‑TFV는 두 가지 핵심 요소로 구성된다. 첫째, 경량 채널‑주의 Transformer는 기존 대규모 모델이 겪는 엔트로피 붕괴와 랭크 붕괴 문제를 완화한다. 채널‑단위 어텐션을 사용함으로써 어텐션 행렬의 스펙트럼 랭크가 급격히 감소하는 현상을 억제하고, 레이어 수를 최소화해 연산 비용을 크게 낮춘다. 둘째, 제안된 Escape‑Explore Optimizer는 SAM 프레임워크 위에 부정곡률 탈출(negative‑curvature escape)과 확률적 탐색(stochastic exploration)을 추가한다. 부정곡률 탈출 단계에서는 유한 차분 방식으로 Hessian‑vector product를 근사하고, 파워 이터레이션을 통해 가장 작은 고유값 방향을 찾아 ‘탈출 킥(escape kick)’을 적용한다. 이는 손실 지형의 샤프 사다리꼴 영역에 머무르는 것을 방지하고, 보다 평탄한 최소점으로 이동하도록 유도한다. 탐색 단계에서는 SGLD(Stochastic Gradient Langevin Dynamics) 기반의 노이즈를 삽입해 파라미터 공간을 넓게 샘플링하고, EMA(Exponential Moving Average)로 파라미터를 부드럽게 평균화한다. 이 과정은 학습 중 발생할 수 있는 급격한 진동을 억제하면서도 모델이 다양한 지역 최적해를 탐색하도록 만든다.

이론적 분석에서는 EEO가 기존 SAM 대비 샤프 최소점에 대한 민감도가 낮아짐을 보였으며, 부정곡률 탐지와 탈출 메커니즘이 strict saddle point를 효율적으로 회피한다는 수학적 보장을 제공한다. 또한, SGLD‑EMA 조합이 Gibbs 분포에 수렴함을 통해 일반화 성능 향상을 설명한다.

실험에서는 11개의 공개 시계열 데이터셋(예: ETT, Traffic, Electricity 등)과 Synapse 3D 의료 영상 분할 과제를 사용했다. 시계열 예측에서는 MSE와 MAE 기준에서 기존 Transformer‑based 모델(Informer, Autoformer, TimesFM 등)보다 평균 35% 개선을 기록했으며, 특히 장기 예측(96192시간)에서 오류 누적이 현저히 감소했다. 의료 영상에서는 Dice coefficient와 Hausdorff Distance 측면에서 SAM 기반 모델보다 2~4% 높은 점수를 얻었고, OOD(Out‑of‑Distribution) 상황에서도 성능 저하가 최소화되었다. 학습 안정성 측면에서는 훈련 초기에 급격한 손실 진동이 크게 완화되었으며, 수렴 속도는 기존 최적화기와 비슷하거나 약간 빠른 수준을 보였다.

전체적으로 EEO‑TFV는 경량화된 Transformer와 고급 최적화 전략을 결합해 웹 규모의 복합 멀티모달 데이터에 대한 효율적이고 견고한 학습을 가능하게 한다. 특히 부정곡률 탈출과 SGLD‑EMA 탐색이 모델을 샤프 최소점과 사다리꼴 함정에서 벗어나게 함으로써, 장기 시계열 예측과 의료 영상 같은 고차원, 고복잡도 작업에서 일반화와 안정성을 동시에 확보한다는 점이 주요 기여이다.