다중 단계 상황 마코프 의사결정 과정에서 개인화 피드백을 이용한 상호작용 기반 학습

초록

**
본 논문은 사용자별 맞춤 피드백을 간접 신호로 활용하는 Interaction‑Grounded Learning(IGL)을 다중 단계 에피소드 MDP에 확장한다. 새로운 보상 추정기와 Inverse‑Gap‑Weighting(IGW) 정책 최적화 알고리즘을 제안해 (O(T^{3/4})) 의 서브선형 레그레트를 달성하고, 합성 MDP와 실제 예약 데이터셋에서 실험적으로 검증한다.

**

상세 분석

**
이 연구는 기존 IGL이 단일 단계 컨텍스트 밴드릿에 국한된 한계를 극복하고, 에피소드 길이 (H) 를 갖는 컨텍스트 MDP로 일반화한다는 점에서 이론적·실용적 의미가 크다. 핵심 기술은 세 단계로 구성된 보상 디코더 학습이다. 첫 번째 단계인 ‘Reachable State Identification’에서는 각 최종 상태 (s\in S_H) 에 대해 방문 확률을 최적화하는 동작 정책 (b_{\pi_s}) 을 학습한다. 여기서는 EULER와 같은 PAC‑RL 알고리즘을 이용해 (O(1/\epsilon^2)) 에피소드 내에 (p_{\star}^s-\epsilon) 의 도달 확률을 보장한다. 두 번째 단계인 ‘Inverse Kinematic Learning’은 도달 가능한 상태에서 균등 정책 (q_{\text{unif}}) 조건부 행동 분포 (\Pr(a|s,x)) 을 추정한다. 이는 관찰된 피드백이 최종 상태와 실제 보상 (r) 에만 의존한다는 조건부 독립 가정(Assumption 2.1)을 활용한다. 세 번째 단계에서는 이 역동역학 정보를 이용해 Lipschitz 연속성을 갖는 보상 추정기 (\hat f) 를 구성한다. 이때 이질적(state‑heterogeneous)과 동질적(state‑homogeneous) 상태를 구분해, 전자는 보상 차이가 충분히 커서 식별 가능하고, 후자는 모든 행동이 동일한 기대 보상을 갖는 특수 경우로 처리한다(Assumption 2.3).

보상 추정기가 확보되면 정책 학습 단계에서는 Inverse‑Gap‑Weighting(IGW) 알고리즘을 적용한다. IGW는 현재 정책과 최적 정책 사이의 가치 격차를 역으로 가중치에 반영해, 격차가 큰 상태·행동에 더 많은 탐색 자원을 할당한다. 이 설계는 기존 UCB‑type 접근법이 간접 피드백에서 발생하는 높은 변동성을 충분히 억제하지 못하는 문제를 해결한다. 이론적으로는 보상 추정 오차와 정책 탐색 오차를 각각 (O(T^{-1/4})) 와 (O(T^{-1/2})) 로 제한함으로써 전체 레그레드가 (O(T^{3/4})) 임을 증명한다.

실험에서는 합성 에피소드 MDP와 실제 사용자 예약 데이터셋을 사용한다. 합성 환경에서는 상태 수와 행동 수를 다양하게 변형해 알고리즘의 스케일러빌리티를 검증했으며, IGW가 기존 베이스라인(예: ε‑greedy, Thompson Sampling)보다 빠르게 최적 정책에 수렴함을 보였다. 실제 데이터에서는 사용자별 ‘thumbs‑up/down’ 피드백을 간접 신호로 활용해, 개인화된 목표 함수를 성공적으로 복원하고, 최종 예약 성공률을 12 % 이상 향상시켰다.

이 논문은 (1) 다중 단계 MDP에 대한 IGL 이론을 최초로 정립, (2) 실용적인 보상 디코더와 정책 최적화 알고리즘을 제시, (3) 개인화된 피드백을 활용한 실세계 적용 가능성을 입증한다는 점에서, 차세대 LLM 기반 대화 시스템이나 인간‑컴퓨터 인터페이스에 중요한 기반 기술이 될 것으로 기대된다.

**