스테인 방법으로 구현한 온라인 선형 최적화의 최적 트레이드오프

초록

본 논문은 1차원 고정시간 온라인 선형 최적화(OLO)에서 스테인(Stein) 방법을 활용해 동적 프로그래밍 기반의 비효율적인 알고리즘을 대체하고, O(1) 시간 복잡도로 계산 가능한 알고리즘을 제시한다. 제안 알고리즘은 정규근사와 워셔스테인 마르티게일 중심극한정리(Wasserstein martingale CLT)를 기반으로 “덧셈적으로 날카로운”(additively sharp) 손실 및 regret 상한을 제공한다. 결과적으로 기존 온라인 경사 하강법(OGD)과 가중치 곱셈 업데이트(MWU)의 총 손실 상한을 개선하고, 비교자별 regret과 최대 regret 사이의 연속적인 최적 트레이드오프를 구현한다. 또한, 무한 지원을 갖는 적대적 잡음 모델에서도 기대 손실을 정확히 제어한다.

상세 분석

이 논문은 온라인 선형 최적화(OLO) 문제를 확률론적 한계정리와 연결시키는 새로운 방법론을 제시한다. 기존의 Cover(1966) 결과는 이산 라디머처(Rademacher) 분포에 대한 동적 프로그래밍(DP) 해를 통해 최적 regret‑loss 트레이드오프를 기술했지만, DP는 매 라운드마다 O(T) 연산이 필요해 실용적이지 않았다. 저자들은 스테인 방법의 핵심인 스테인 방정식과 그 해를 이용해 정규분포 N(0,σ²)와의 거리(워셔스테인 거리)를 효율적으로 계산한다. 특히 Röllin(2018)의 워셔스테인 마르티게일 CLT 증명을 그대로 알고리즘 설계에 옮겨, 기대 손실을 −ψ*_T(−∑g_t)+O(log T) 형태로 상한한다. 여기서 ψ*T는 1‑Lipschitz이며 E{X∼N(0,T)}