전문가 학습 추적: 냉동·수면 전략과 과거 사후분포 활용

초록

프리드가 제시한 대규모 전문가 집합 중 소수 전문가를 효율적으로 추적하는 문제를, 전문가가 자체 학습 능력을 가질 때 두 가지 해석(전체 데이터 학습 vs. 추적 구간만 학습)으로 재검토한다. 기존 MPP 알고리즘은 전자를 해결하고, 본 논문은 후자를 위해 ‘냉동(freezing)’과 ‘수면(sleeping)’ 두 참조 스킴을 도입, 각각에 대한 효율적 예측 전략과 손실 상한을 제시한다.

상세 분석

본 논문은 Freund가 제시한 “소수 전문가 추적” 문제를 전문가가 내부적으로 학습 가능한 구조를 가질 때의 두 가지 해석으로 확장한다. 첫 번째 해석은 전문가가 전체 데이터 스트림을 지속적으로 학습하도록 허용하는 것으로, 이는 Bousquet‑Warmuth의 Mixing Past Posteriors (MPP) 알고리즘이 그대로 적용될 수 있다. 두 번째 해석은 전문가가 자신이 실제로 추적되는 구간(즉, 선택된 시점의 서브시퀀스)에서만 학습하도록 제한한다는 점이다. 이 경우 기존 MPP는 과도한 정보 누설을 일으켜 손실 상한이 약화된다.

저자들은 이 두 번째 해석을 formal하게 모델링하기 위해 Expert Hidden Markov Model (EHMM)이라는 프레임워크를 도입한다. EHMM은 각 전문가를 내부 상태 전이와 관측 확률을 갖는 HMM으로 표현함으로써, 전문가가 과거 예측에 기반해 사후분포를 업데이트하는 과정을 명시적으로 기술한다. 중요한 관찰은 “과거 사후분포”가 전문가의 현재 행동을 결정한다는 점이며, 이는 MPP가 과거 사후분포를 혼합해 새로운 예측을 생성하는 메커니즘과 일맥상통한다.

하지만 “전체 데이터 학습”과 “추적 구간만 학습” 사이에는 두 가지 자연스러운 참조 스킴이 존재한다. 첫 번째는 Freezing 스킴으로, 전문가가 한 번 선택된 이후에는 그 시점 이후의 데이터에 대해 상태 전이를 멈추고, 기존 사후분포를 그대로 유지한다(‘냉동’). 두 번째는 Sleeping 스킴으로, 전문가가 선택되지 않은 구간에서는 ‘잠자는’ 상태로 남아, 선택될 때까지 상태 전이를 진행하지 않는다(‘수면’). 두 스킴 모두 전문가가 실제로 관측한 데이터에만 반응하도록 강제하지만, 구현 방식과 손실 분석이 서로 다르다.

논문은 각각의 스킴에 대해 효율적인 예측 알고리즘을 설계한다. 핵심 아이디어는 전체 전문가 집합에 대한 사후분포를 유지하면서, 선택된 전문가에 대해서는 해당 스킴에 맞는 상태 전이와 관측 업데이트를 수행하는 것이다. 이를 위해 저자들은 기존 MPP의 사후분포 혼합 방식을 확장해, 각 타임스텝에서 ‘활성’ 전문가 집합을 동적으로 재구성한다. 알고리즘은 O(|E|·|S|)의 시간 복잡도를 갖으며, 여기서 |E|는 전문가 수, |S|는 각 전문가의 내부 상태 수이다.

손실 상한에 대해서는 두 스킴 모두 “전문가가 실제로 학습한 서브시퀀스에 대한 로그 손실”을 기준으로 기존 MPP와 동일한 형태의 경계(즉, KL 발산에 기반한 보정항)를 얻는다. 특히, Freezing 스킴은 전문가가 선택된 순간부터 고정된 사후분포를 사용하므로, 손실 상한이 선택 시점 이전의 누적 손실에만 의존한다. 반면, Sleeping 스킴은 전문가가 ‘잠자는’ 동안에도 사후분포가 변하지 않지만, 선택 시점에 이전 누적 손실을 고려해 보정한다. 두 경우 모두 최악의 경우에도 기존 MPP와 동일한 O(log T) 수준의 레지듀얼 손실을 보장한다.

이러한 결과는 전문가가 내부 학습 메커니즘을 갖는 상황에서도, 전체 전문가 풀을 효율적으로 관리하고, 선택된 전문가가 실제로 관측한 데이터에만 반응하도록 제어할 수 있음을 보여준다. 또한, EHMM이라는 일반화된 모델을 통해 다양한 구조적 전문가(예: 베이지안 업데이트, 온라인 회귀, 강화학습 에이전트 등)를 동일한 프레임워크 안에서 분석할 수 있는 가능성을 열어준다.