계층적 군집 구조를 활용한 가우시안 사전 기반 온라인 학습 최적화

초록

본 논문은 가우시안 보상 분포를 갖는 팔들을 군집화한 2단계 계층 구조의 다중 팔 밴딜 문제를 다룬다. 기존 가우시안 사전 기반 탐슨 샘플링(TSG)의 한계를 극복하기 위해, 군집 정보를 이용한 Thompson Sampling with Clustered arms under Gaussian prior(TSCG)와, 보상이 유니모달(unimodal)일 때 더욱 효율적인 Unimodal Thompson Sampling with Clustered Arms under Gaussian prior(UTSCG)를 제안한다. 두 알고리즘 모두 이론적 상한 regret를 도출했으며, 실험을 통해 기존 방법 대비 낮은 누적 regret을 확인하였다.

상세 분석

본 연구는 가우시안 보상 모델을 전제로 하는 다중 팔 밴딜(MAB) 문제에 계층적 군집 구조를 도입함으로써 탐색·활용 트레이드오프를 개선하고자 한다. 기존의 Thompson Sampling with Gaussian prior(TSG)는 각 팔에 대해 독립적인 가우시안 사전(N(μ₀,σ₀²))을 두고, 관측된 보상에 따라 사후(N(μₙ,σₙ²))를 갱신한다. 그러나 팔이 서로 유사한 보상 특성을 공유한다는 사전 정보를 활용하지 못하면, 특히 팔 수가 많을 때 불필요한 탐색 비용이 크게 증가한다.

논문은 이를 해결하기 위해 2단계 계층 모델을 설계한다. 최상위 레벨은 K개의 군집(cluster)이며, 각 군집 c는 군집 평균 θ_c를 가우시안 사전(N(μ_c⁰,τ_c²))로 갖는다. 하위 레벨에서는 군집 c에 속한 팔 i가 군집 평균을 중심으로 추가적인 변동성을 갖는 보상 파라미터 φ_{c,i} ~ N(θ_c, σ_c²) 로 모델링된다. 이렇게 하면 관측된 보상이 하나의 팔에 국한되지 않고, 동일 군집 내 다른 팔들의 사후 추정에도 영향을 미치게 된다.

TSCG 알고리즘은 두 단계의 베이지안 업데이트를 동시에 수행한다. 매 라운드 t에서, 각 군집 c에 대해 현재 사후 평균과 분산을 이용해 θ_c를 샘플링하고, 그 샘플을 기반으로 해당 군집에 속한 각 팔 i에 대해 φ_{c,i}를 다시 샘플링한다. 이후 φ_{c,i}가 가장 큰 팔을 선택한다. 이 과정은 군집 간 정보 공유를 자연스럽게 구현하며, 군집 내 샘플링 변동성은 σ_c²에 의해 조절된다.

이론적 분석에서는 군집 구조가 존재할 때의 regret 상한을 기존 TSG의 O(√(T log T))와 비교한다. 논문은 군집 내 평균 차이가 충분히 크고, 군집 간 간격이 Δ_min이라면, TSCG의 regret는 O(K√(T log T) + Σ_c √(n_c T) ) 형태로, 여기서 n_c는 군집 c의 팔 수이다. 즉, 팔 수 N보다 군집 수 K에 비례하는 항만 남게 되어, N≫K인 경우 현저히 낮은 regret을 보장한다.

보상이 유니모달(unimodal)이라는 추가적인 구조적 가정을 도입하면, 최적 팔이 군집 트리 상에서 특정 경로를 따라 위치한다는 사실을 활용할 수 있다. UTSCG는 군집 간 탐색을 계층적으로 진행하면서, 현재 군집에서 가장 높은 보상을 보이는 이웃 군집으로만 이동한다. 이는 전통적인 유니모달 밴딜(예: UCB‑L)에서 사용되는 “인접 팔만 탐색” 전략을 베이지안 샘플링에 접목한 형태이다. UTSCG의 regret 상한은 O(√(K T)·log Δ^{-1}) 로, 군집 수에 대한 제곱근 의존도와 로그형 보정항만 남아, 특히 군집이 적고 유니모달 구조가 뚜렷할 때 최적에 근접한다.

실험 부분에서는 mmWave 통신 채널 선택과 위험 자산 포트폴리오 구성 두 가지 실제 응용 시나리오를 설정하였다. 각 시나리오에서 군집 수 K를 520, 전체 팔 수 N을 100500으로 변동시키며, TSG, TSCG, UTSCG, 그리고 최신 유니모달 밴딜 알고리즘(예: IMED‑U)과 비교하였다. 결과는 평균 누적 regret이 TSCG가 TSG 대비 3045% 감소, UTSCG가 TSCG 대비 추가 2035% 감소함을 보여준다. 특히 보상 분산이 작고 군집 간 차이가 클수록 개선 효과가 두드러졌다.

한계점으로는 군집 구조가 사전에 알려져야 한다는 전제가 있다. 실제 환경에서는 군집을 사전 학습하거나 온라인 클러스터링을 병행해야 하는데, 논문에서는 이를 별도 연구 과제로 남겨두었다. 또한, 가우시안 보상 가정이 비가우시안(예: 베르누이) 상황에 바로 적용되지는 않으며, 그 경우 사전·사후 업데이트가 비선형이 되어 계산 복잡도가 급증한다. 향후 연구에서는 비가우시안 확장, 동적 군집 재구성, 그리고 딥러닝 기반 특징 추출과의 결합을 고려할 수 있다.

요약하면, 본 논문은 계층적 군집 정보를 활용한 가우시안 사전 기반 탐슨 샘플링을 통해 기존 알고리즘 대비 이론적·실험적 regret를 크게 낮추었으며, 유니모달 보상 구조까지 통합한 UTSCG를 제안함으로써 MAB 분야에서 구조적 정보를 활용한 베이지안 접근법의 가능성을 크게 확장시켰다.