맞춤형 하이라이팅을 위한 강화학습과 시선 시뮬레이션 통합

초록

본 논문은 인간 감독 인터페이스에서 시각적 하이라이팅을 개인화하기 위해 강화학습(RL)과 시선( gaze) 시뮬레이션을 결합한 프레임워크를 제안한다. 드론 감시 시나리오를 실험 환경으로 삼아, 속성 상태, 사용자 지식, 하이라이팅 상태를 포함하는 MDP를 정의하고 PPO 알고리즘으로 정책을 학습한다. 보상은 사용자 지식 오류와 하이라이팅 비용을 동시에 고려한다. 초기 실험 결과는 정적 규칙 기반 하이라이팅보다 효율적인 알림 전략을 보여주며, 시선 모델의 정확도가 정책 성능에 큰 영향을 미침을 강조한다.

상세 분석

이 연구는 인간‑기계 협업에서 상황 인식을 유지하기 위한 UI 적응 문제를 강화학습(MDP)과 시선 예측 모델을 결합함으로써 새로운 접근법을 제시한다. 먼저 감독 대상인 4대 드론의 8가지 속성을 실시간으로 표시하는 대시보드가 정의되고, 각 속성은 실제 값(𝑠_att)과 사용자가 추정한 값(𝑠_usr)으로 구분된다. 하이라이팅 상태(𝑠_hlt)는 이진 벡터로 표현되며, 에이전트가 선택한 하이라이팅 행동(𝑎)과 동일한 형태를 가진다.

시선 시뮬레이션은 TASED‑Net 기반의 시간적 시각 saliency 모델을 fine‑tune하여 구현되었다. 모델은 현재 UI 이미지와 하이라이팅 정보를 입력으로 받아, 각 아이콘에 대한 주시 확률 분포 P를 출력한다. 이 분포에서 하나의 아이콘을 샘플링해 사용자가 다음에 바라볼 위치를 결정하고, 해당 아이콘의 실제 값이 사용자의 지식 상태에 반영된다. 이렇게 함으로써 사용자의 주시 행동이 정책 학습에 직접적인 피드백 루프를 형성한다.

보상 설계는 두 요소로 구성된다. 첫 번째는 속성별 가중치 w(α)를 적용한 사용자 지식 오류 d(𝑠_att,𝑠_usr)이며, 이는 상황 인식의 정확성을 직접적으로 측정한다. 두 번째는 하이라이팅 비용 H에 비례하는 페널티로, 과도한 알림이 인지 부하와 알람 피로를 초래함을 모델링한다. 최종 보상 R(s)=−d−H·∑𝑠_hlt는 오류 감소와 하이라이팅 최소화를 동시에 최적화하도록 설계되었다.

학습 알고리즘으로는 최신 정책 기반 방법인 Proximal Policy Optimization(PPO)을 채택했으며, 하이퍼파라미터는 기존 PPO 설정을 기반으로 약간 조정하였다. H=500이라는 높은 하이라이팅 비용을 설정함으로써, 에이전트는 단기적인 하이라이팅 보상보다 장기적인 오류 감소 효과를 우선 고려하도록 유도되었다.

실험 결과는 정적 규칙(예: 5초간 모든 임계 상황 하이라이팅) 대비, 학습된 정책이 중요한 속성을 선택적으로 강조하고, 사용자가 이미 인지한 정보에 대해서는 불필요한 하이라이팅을 억제함을 보여준다. 특히, 회전축 고장이 복구되는 상황에서 회전축 아이콘을 강조하고, 사용자가 풍속을 먼저 확인한 뒤 회전축을 주시하도록 유도하는 시나리오가 제시되었다. 그러나 시선 모델이 하이라이팅된 아이콘을 충분히 주목하지 않을 경우, 정책이 하이라이팅을 포기하는 등 모델 정확도에 민감하게 반응한다는 한계도 발견되었다.

전체적으로 이 연구는 (1) 인간 시선 모델을 강화학습 환경에 통합하는 방법론, (2) 사용자 지식 상태를 명시적으로 상태 변수에 포함시켜 상황 인식 오류를 직접 최소화하는 보상 설계, (3) 하이라이팅 비용을 통해 알람 피로를 정량화하는 접근을 제시한다. 향후 실제 사용자와의 실험, 다양한 시선 모델(휴리스틱, 개인화된 스캔패스) 비교, 그리고 고차원 상황 인식(Level 3 SA)까지 확장하는 연구가 필요하다.