대규모 전문가 집합을 위한 효율적인 전환 추적 알고리즘

초록

본 논문은 기본 전문가 알고리즘 𝔄를 그대로 활용하면서 전환(스위칭) 전문가를 추적하는 방법을 제시한다. 제안 기법은 시간·공간 복잡도를  O(n^γ log n) 배만 늘리면 되며, γ>0일 때는 최적 차수의 regret을, γ=0일 때는 최적 regret의 log n 배 수준을 달성한다. 특히 로그 손실 하에서 이진 시퀀스 예측 시 O(log n) regret을 O(n^{1+γ} log n) 시간에 구현한다.

상세 분석

이 논문은 “전문가 조언에 기반한 온라인 예측”이라는 전통적인 프레임워크에 “전환 전문가”(meta‑expert) 개념을 도입하고, 이를 효율적으로 구현하기 위한 일반적인 변환 메커니즘을 제시한다. 기존의 전환 추적 방법은 전환 횟수 C 에 따라 전체 전문가 집합 |E| 을 지수적으로 복제하거나, 전이 다이어그램의 모든 상태를 유지해야 하는 등 시간 복잡도가 O(n²) 에 달했다. 저자들은 이러한 비효율성을 극복하기 위해 감소된 전이 다이어그램(reduced transition diagram) 을 설계하고, 임의의 기본 알고리즘 𝔄 (예: 지수 가중 평균, 온라인 라그랑주 승강법 등)를 블랙‑박스 형태로 삽입한다. 핵심 아이디어는 다음과 같다.

1. γ 파라미터에 의한 복잡도‑regret 트레이드오프: γ∈