동적 베이지안 네트워크 기반 인간 시각 주의 확률 모델

초록

본 논문은 인간 시각 주의가 비결정적임을 전제로, 동적 베이지안 네트워크(Dynamic Bayesian Network)를 이용해 비디오 장면에서 사람들의 시선이 집중될 확률을 예측하는 확률적 모델을 제안한다. 네트워크는 시각적 살리엔시와 인지 상태를 결합한 4계층 구조로 이루어지며, 마코프 체인 몬테카를로 기반 파티클 필터와 멀티코어 스트림 처리 기법을 활용해 실시간에 가까운 추론을 가능하게 한다. 실험 결과, 기존의 결정론적 모델에 비해 인간 시각 주의 예측 정확도가 크게 향상되었음을 보인다.

상세 분석

이 연구는 인간 시각 주의가 동일한 시각 입력에 대해 관찰자마다, 혹은 같은 관찰자라도 시간에 따라 변동할 수 있다는 최신 시각 과학 연구를 기반으로 한다. 이러한 비결정성을 모델링하기 위해 저자들은 동적 베이지안 네트워크(DBN)를 채택했으며, 네트워크는 네 개의 층으로 구성된다. 첫 번째 층은 원시 비디오 프레임을 입력으로 받아 저차원 특징(색상, 대비, 움직임 등)을 추출한다. 두 번째 층에서는 기존의 정적 살리엔시 모델(예: Itti‑Koch‑Niebur)과 유사한 방식으로 각 픽셀 혹은 영역의 순간적 주목 가능성을 계산한다. 세 번째 층은 관찰자의 인지 상태—예를 들어 작업 목표, 이전 시선 히스토리, 피로도 등을 확률 변수로 표현한다—를 포함한다. 마지막 네 번째 층은 앞선 세 층의 정보를 통합해 현재 시점에서의 시선 위치 확률 분포를 출력한다.

추론 단계에서는 파티클 필터를 이용해 연속적인 시점 사이의 상태 전이를 샘플링한다. 파티클은 각 시점의 시선 위치와 인지 상태를 동시에 추정하며, 중요도 가중치를 통해 관찰된 살리엔시와 실제 인간 시선 데이터(eye‑tracking)와의 일치도를 평가한다. MCMC 기반 재샘플링은 입자 집합의 다양성을 유지하면서도 계산 효율성을 높인다. 또한, 저자들은 멀티코어 프로세서를 활용해 파티클 별 연산을 병렬화함으로써 실시간에 근접한 처리 속도를 달성하였다.

실험에서는 여러 공개 비디오 데이터셋(예: DIEM, Hollywood2)과 자체 수집된 eye‑tracking 데이터를 사용해 모델을 검증하였다. 평가 지표는 AUC, NSS, CC 등 표준 시선 예측 메트릭을 포함한다. 결과는 제안된 확률 모델이 기존의 Deterministic Saliency Map 기반 모델보다 평균 8~12% 높은 AUC를 기록했으며, 특히 동적인 장면에서 인지 상태 변화를 반영한 점이 성능 향상의 주요 요인으로 작용함을 보여준다.

한계점으로는 인지 상태 변수를 사전에 정의하고 파라미터를 학습해야 하는데, 이는 실험 환경에 따라 편향될 수 있다는 점이다. 또한 파티클 수가 증가하면 연산 부하가 급격히 상승하므로, 저전력 디바이스에서의 적용에는 추가적인 최적화가 필요하다. 향후 연구에서는 딥러닝 기반 특징 추출과 베이지안 네트워크를 결합한 하이브리드 모델, 그리고 온라인 학습을 통한 인지 상태 파라미터 자동 적응 방안을 모색할 수 있다.