밴드릿 피드백 기반 확률 구조 예측의 최적화와 실험

본 논문은 구조 예측 문제를 밴드릿 피드백 환경에서 학습하는 새로운 프레임워크를 제시한다. 전통적인 구조 예측은 전체 데이터와 정답 라벨을 이용해 기대 손실을 최소화하는 방식이지만, 실제 인터랙티브 시스템에서는 정답 라벨을 얻기 어렵고, 사용자는 예측된 구조에 대해 손실 혹은 선호 정도만 제공한다. 이러한 제한을 반영해 학습 프로토콜을 정의한다: 매 반복마다 입력 x_t 를 관찰하고, 현재 파라미터 w_t 로 정의된 로그선형 모델 p_{w_t}(y|x_t) 에서 구조 ŷ_t 를 샘플링한다. 사용자는 ŷ_t 에 대한 손실 Δ(ŷ_t) 혹은 두 구조 간의 상대 손실 Δ(ŷ_i, ŷ_j) 를 반환한다. 이 피드백을 이용해 무편향 스토캐스틱 그라디언트 s_t 를 계산하고, w_{t+1}=w_t−γ_t s_t 로 파라미터를 업데이트한다. 논문은 세 가지 목표 함수를 중심으로 알고리즘을 설계한다. 첫 번째는 **기대 손실 최소화 (Expected Loss, EL)** 로, J_EL(w)=E_{x}