이질분산 일반화선형 밴딧의 적대적 교란에 대한 효율적 최적 알고리즘

초록

본 논문은 이질분산(heteroskedastic) 일반화선형 밴딧(GLB) 문제에 적대적 교란을 동시에 고려한 새로운 알고리즘 HCW‑GLB‑OMD를 제안한다. 온라인 미러 디센트 기반 추정기와 Hessian 기반 신뢰 가중치를 결합해 O(1) 시간·공간 복잡도로 구현 가능하며, 자기‑컨코던스 가정 하에 $\tilde O!\big(d\sqrt{\sum_t g(\tau_t)\dot\mu_{t,\star}}+d^2g_{\max}\kappa+d\kappa C\big)$의 레지 regret 상한을 얻는다. 또한 $\tilde\Omega!\big(d\sqrt{\sum_t g(\tau_t)\dot\mu_{t,\star}}+dC\big)$의 하한을 증명해, $\kappa$ 팩터를 제외하면 인스턴스별 최소극대 최적성을 달성함을 보인다.

상세 분석

본 연구는 세 가지 핵심 난제를 동시에 해결한다. 첫째, 일반화선형 밴딧(GLB)에서 보상 분산이 시간에 따라 변하는 이질분산 상황을 포괄한다. 기존 연구는 보통 고정된 분산(예: 로지스틱, 포아송) 혹은 선형 밴딧에서만 이질분산을 다루었으며, 두 경우를 동시에 고려한 분석은 거의 없었다. 둘째, 적대적 교란(adversarial corruption) 모델을 도입해, 학습자가 관측한 보상이 임의의 교란 $c_t$에 의해 변형될 수 있음을 가정한다. 이때 교란 예산 $C=\sum_{t=1}^T|c_t|$가 제한된 상황에서 레지 regret이 $dC$ 수준으로만 증가하도록 설계해야 한다. 셋째, 계산 효율성을 확보한다. 기존의 강건한 GLB 알고리즘은 매 라운드마다 전체 데이터에 대한 MLE를 수행해 $O(t)$ 복잡도를 요구했지만, HCW‑GLB‑OMD는 온라인 미러 디센트(OMD)와 Hessian 기반 가중치를 이용해 매 라운드 $O(1)$ 메모리·시간으로 업데이트한다.

알고리즘 설계는 두 부분으로 나뉜다. (1) OMD 기반 파라미터 추정 $\theta_t$는 손실 함수 $\ell_t(\theta)=-\log p(r_t|x_t,\theta)$에 대해 미러 맵을 사용해 점진적으로 갱신한다. (2) Hessian‑Confidence Weighting(HCW)은 현재 선택한 액션 $x_t$와 관측된 분산 $g(\tau_t)$를 이용해 가중치 $w_t=\min{1,\alpha g(\tau_t)/|x_t|{H_t^{-1}}}$를 정의한다. 이 가중치는 교란에 대한 민감도를 조절하며, $w_t$가 작을수록 해당 라운드의 손실이 감소해 교란의 영향을 억제한다. 여기서 $H_t$는 누적 Hessian $\sum{s\le t}\dot\mu(\langle x_s,\theta_s\rangle) x_s x_s^\top$이며, 자기‑컨코던스 가정(Assumption 3) 덕분에 $\dot\mu$와 $\ddot\mu$가 $\dot\mu$에 비례하는 상수 $\kappa$로 묶여 분석이 단순화된다.

이론적 결과는 두 단계로 구성된다. 첫째, 레지 regret 상한을 $\tilde O\big(d\sqrt{\sum_t g(\tau_t)\dot\mu_{t,\star}}+d^2g_{\max}\kappa+d\kappa C\big)$ 로 증명한다. 여기서 $\dot\mu_{t,\star}$는 최적 액션 $x_{t,\star}$에서의 기울기로, 인스턴스별 난이도를 정확히 반영한다. 이 항은 기존 로지스틱 밴딧에서 $e\Theta(d\sqrt{\sum_t\dot\mu_{t,\star}})$와 일치한다. 두 번째 항 $d^2g_{\max}\kappa$는 Hessian 추정의 초기 오차에 기인하며, $g_{\max}$가 유한하면 차수 $d^2$가 아니라 $d$ 수준으로 억제된다. 마지막 교란 항 $d\kappa C$는 교란 예산에 선형적으로 비례한다. $\kappa$는 $\min_{x,\theta}\dot\mu(\langle x,\theta\rangle)^{-1}$의 역수이며, 자기‑컨코던스가 강할수록(즉, $\dot\mu$가 크게 하한을 갖는 경우) $\kappa$가 작아져 교란에 대한 민감도가 감소한다.

또한 하한을 $\tilde\Omega\big(d\sqrt{\sum_t g(\tau_t)\dot\mu_{t,\star}}+dC\big)$ 로 제시한다. 이는 기존 개별 문제(예: 로지스틱 밴딧, 이질분산 선형 밴딧, 교란 선형 밴딧)의 하한을 모두 포괄한다. 따라서 HCW‑GLB‑OMD는 $\kappa$ 팩터를 제외하고는 인스턴스별 최소극대 최적성을 달성한다는 의미다.

실험 섹션(논문 본문에 포함)은 로지스틱, 포아송, 이질분산 선형 시뮬레이션을 대상으로, 교란 예산 $C$를 다양하게 변형시켜 비교한다. HCW‑GLB‑OMD는 기존 최첨단 알고리즘(예: CW‑OFUL, GLM‑OMD, σ‑SG 등)보다 동일한 $O(1)$ 복잡도로 레지 regret이 현저히 낮으며, 특히 교란이 큰 경우 $dC$ 항이 지배적인 상황에서도 선형적으로 스케일링되는 것을 확인한다.

결론적으로, 이 논문은 (1) 이질분산 GLB와 적대적 교란을 동시에 다루는 통합 이론을 제공하고, (2) OMD와 Hessian 가중치를 결합한 실용적인 알고리즘을 제시하며, (3) 계산 복잡도와 통계 효율성 사이의 트레이드오프를 완전히 해소한다는 점에서 밴딧 이론 및 실무에 큰 기여를 한다.