거의 완벽한 전문가와 온라인 학습

초록

이 논문은 다중 클래스 온라인 예측 문제에서, 최선의 전문가가 최대 b 번만 실수하는 경우에 대한 기대 실수 횟수 상한을 분석한다. b가 log₄ n 보다 작을 때 최적 예측기의 기대 실수는 log₄ n + o(log₄ n) 이며, 이 경계는 이진 예측 상황에서 최악임을 보인다. 또한 상한과 일치하는 하한을 제시하고, 이를 만족하는 추상 잠재함수와 정확한 재귀 알고리즘을 제시한다.

상세 분석

논문은 먼저 전문가 조언을 이용한 다중 클래스 온라인 학습을 정의하고, 각 전문가가 지금까지 저지른 실수 수를 기준으로 (b+1) 차원 상태 벡터 k = (k₀,…,k_b) 로 표현한다. 상태 k 에서 전문가들은 다음 라운드에 대해 d 개의 선택지에 투표하고, 이를 (k¹,…,k^d) 라는 분할(Decomposition)로 나타낸다. 선택지 j 가 정답이면 새로운 상태 s_j(k¹,…,k^d) 가 생성되며, 이는 첫 번째 좌표가 k_j⁰, 그 외 좌표는 k_j^i + ∑_{v≠j} k_v^{i‑1} 로 정의된다.

핵심 기여는 “잠재함수 f”에 대한 추상 정리이다. f 는 (0,…,0,1) 에 대해 f≥0 (경계 조건)과, 모든 상태 k 와 선택 집합 A 에 대해
 f(k) ≥ (a‑1)/a + (1/a) ∑_{i∈A} f(s_i)
를 만족하면, p_i = max{0, 1 + f(s_i) ‑ f(k)} 로 정의된 확률로 선택을 하면 기대 손실이 f(k) 이하가 된다. 이는 최소극값 원리를 이용한 “잠재함수 기반” 전략으로, 기존의 가중치‑업데이트 방식보다 더 정밀한 상한을 제공한다.

위 정리를 이용해 저자들은 두 가지 상한을 제시한다. 첫 번째는
 E