지연 피드백을 고려한 리프시츠 밴딧

초록

본 논문은 연속적인 행동 공간에서 기대 보상이 리프시츠 연속성을 만족하는 리프시츠 밴딧 문제에 무작위 지연 피드백을 도입한다. 지연이 유한한 경우와 무한한 경우 각각에 대해 새로운 알고리즘을 설계하고, 지연 최대값 τₘₐₓ에 비례하는 추가 항을 포함한 최적에 가까운 서브선형 regret을 증명한다. 실험을 통해 제안 방법들의 효율성을 확인한다.

상세 분석

논문은 먼저 기존 리프시츠 밴딧의 핵심 개념인 커버링 차원 d와 줌잉 차원 d_z를 재정의하지 않고 그대로 유지한다. 이는 연속적인 행동 공간에서 최적 팔을 찾는 난이도를 정량화하는 데 필수적이다. 지연이 존재하면 관측 가능한 피드백이 즉시 반영되지 않으므로, 전통적인 줌잉 알고리즘의 “즉시 업데이트” 가정이 깨진다. 저자들은 이를 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, 지연 인식 줌잉(Delayed Zooming) 알고리즘에서는 각 팔에 대해 실제 관측된 보상의 수 v_t(x)와 아직 도착하지 않은 보상의 수 w_t(x)를 명시적으로 추적한다. 신뢰구간 반경 r_t(x)는 관측된 샘플 수 v_t(x)만을 이용해 계산되며, 이는 지연이 큰 경우에도 과도한 탐색을 방지한다. 둘째, 지연에 대한 ‘게으른 업데이트(lazy update)’ 메커니즘을 도입해, 팔이 선택되지 않아도 도착한 지연 보상이 신뢰구간을 축소시키도록 허용한다. 이때 기존 줌잉 분석에서 사용되는 Δ(x) ≤ 3 r_t(x) 불등식이 Δ(x) ≤ 6 r_t(x) 로 약화되지만, 여전히 서브옵티멀 팔이 과도하게 선택되는 것을 억제한다. 이 결과는 지연이 최대 τₘₐₓ 로 제한된 경우, 전체 regret이
\