동적 후회 최소화를 위한 할인동적 변환과 Adam 최적화기 응용

초록

이 논문은 할인된 손실을 이용한 동적 후회(Dynamic Regret) 분석을 FTRL 프레임워크에 적용하고, 이를 통해 온라인 선형 회귀와 로지스틱 회귀에서 최적의 동적 후회 경계를 간결히 도출한다. 또한 동일한 기법을 Adam 옵티마이저에 확장하여, 두 개의 모멘텀 파라미터 (β₁, β₂) 에 대한 보다 일반적인 설정에서도 최적 수렴 속도를 보장한다.

상세 분석

본 연구는 동적 후회 최소화 문제를 “할인‑동적(D2D) 변환”이라는 새로운 모듈식 분석 틀로 재구성한다. 기존에는 할인된 후회(Discounted Regret) 경계를 먼저 증명한 뒤, 복잡한 합을 정리해 동적 후회로 변환하는 방식이 일반적이었다. 저자들은 이 과정을 “템플릿 수준”에서 수행함으로써, 핵심 항목(안정성 항 Λₜ, 비교자 의존 항 φₜ 등)을 명시적으로 유지하고, 이후 원하는 파라미터 튜닝을 자유롭게 적용할 수 있게 했다.

핵심 정리는 다음과 같다. 알고리즘 A가 할인 계수 β∈(0,1] 에 대해
\