다중 스케일 매트릭스 스케치로 선형 밴딧의 서브리니어 레그레트 달성

초록

본 논문은 기존 선형 밴딧에서 고차원 특성 때문에 발생하는 Ω(d²) 연산 비용을 줄이기 위해 매트릭스 스케치를 활용하지만, 스케치 크기가 충분히 크지 않을 경우 스펙트럼 테일이 무거운 데이터에서 선형 레그레트가 발생한다는 문제를 지적한다. 이를 해결하기 위해 저자들은 Dyadic Block Sketching이라는 다중 스케일 스케치 기법을 제안한다. 블록을 이진적으로 확장하면서 스케치 크기를 동적으로 조정함으로써 전체 스펙트럼 오차를 사전에 정한 ε 이하로 제한하고, 이를 선형 밴딧 알고리즘에 적용해 사전 지식 없이도 서브리니어 레그레트를 보장한다. 실험 결과는 제안 방법이 기존 FD‑기반 방법보다 레그레트와 계산 효율성 모두에서 우수함을 보여준다.

상세 분석

이 논문은 선형 밴딧에서 매트릭스 스케치를 이용한 연산 가속이 스펙트럼 오차 Δ_T 에 크게 의존한다는 점을 정량적으로 분석한다. 기존 방법인 SOFUL이나 CBSC‑FD는 고정된 스케치 크기 l 을 사용하고, Δ_T 가 o(T^{1/3}) 이 될 때만 \tilde O(√T) 레그레트를 얻는다. 하지만 데이터의 스펙트럼 테일이 무거우면 Δ_T 가 빠르게 증가해 l 이 d 보다 작을 경우 Δ_T ≈ T 에 근접하게 되고, 결국 레그레트가 선형으로 전이된다. 논문은 이 현상을 “관측 1”로 정리하고, 지역적으로 볼록한 행동 공간에서 최소 고유값이 Ω(T^q) (q∈(0,½]) 로 성장한다는 기존 이론을 이용해 l < d−T^{1/3−q} 이면 선형 레그레트가 불가피함을 증명한다.

이러한 문제를 해결하기 위해 제안된 Dyadic Block Sketching은 스트리밍 데이터를 이진 블록으로 나누고, 각 블록마다 스케치 크기를 두 배씩 늘린다. 핵심 아이디어는 분해 가능성(Lemma 3) 으로, 각 블록의 스케치가 개별적으로 ε_i ·‖X_i‖_F 이하의 코베리언스 오차를 만족하면, 전체 스케치의 오차는 ∑ε_i‖X_i‖_F 으로 제한된다. 따라서 전체 오차 ε 을 사전에 설정하고, 블록이 커질수록 더 큰 스케치를 할당함으로써 오차 누적을 방지한다.

알고리즘 구조는 다음과 같다.

1. 활성 블록 B* 을 유지하고, 새로운 행이 들어올 때마다 B* 에 추가한다.
2. 블록 크기(행의 제곱 노름 합)가 ε·l₀ (초기 스케치 크기) 이하이면서 스케치 랭크가 스케치 크기보다 작으면 기존 스케치를 그대로 사용한다.
3. 조건을 위반하면 현재 활성 블록을 비활성으로 전환하고, 새 블록을 생성해 스케치 크기를 두 배로 늘린다.
4. 블록 수는 ⌊log₂(d/l₀+1)⌋ 이하로 제한해 메모리와 연산 복잡도를 제어한다.

이 구조는 매 라운드 O(d · l_current) 시간을 유지하면서, 스케치 크기가 필요에 따라 자동으로 증가한다. 또한, 어떤 스케치 기법(FD, RFD 등)이라도 코베리언스 오차 보장을 제공하면 그대로 적용 가능하다는 프레임워크 친화성을 갖는다.

레그레트 분석에서는 Δ_T 를 ε 으로 대체하고, ε 이 고정 상수이면 레그레트 상한이
\