그룹 감정을 활용한 하이브리드 궤적 예측 모델

초록

본 논문은 개인 및 집단 행동을 동시에 고려한 하이브리드 프레임워크를 제안한다. 영상에서 추출한 그룹 감정 정보를 정서‑동역학 그래프에 매핑하고, 이를 물리 기반 모델과 딥러닝 기반 시퀀스 예측기에 결합함으로써 보행자 및 차량의 미래 궤적을 높은 정확도로 예측한다. 실험 결과, 기존 단일 모듈 대비 평균 위치 오차가 15 % 이상 감소했으며, 복잡한 교차로와 군중 상황에서도 안정적인 성능을 보였다.

상세 분석

논문은 먼저 그룹 감정 인식을 위한 멀티모달 파이프라인을 설계한다. 영상 프레임에서 얼굴, 자세, 몸짓, 그리고 주변 환경 정보를 동시에 추출하고, 이를 사전 학습된 감정 분류기(ResNet‑50 기반)와 행동 인식 네트워크(3D‑CNN)로 전달한다. 감정 레이블은 ‘긍정’, ‘중립’, ‘부정’ 세 가지 클래스로 구분되며, 각 개인의 감정 확률 분포는 그룹 레벨에서 평균화되어 그룹 감정 벡터를 만든다. 이 벡터는 시간에 따라 변하는 정서‑동역학 그래프(Graph Emotion Dynamics, GED)로 표현되며, 노드 간 가중치는 거리, 시선 교차, 동시 움직임 등 사회적 상호작용 지표를 기반으로 계산된다.

다음으로 하이브리드 궤적 예측 모듈이 제시된다. 물리 기반 서브모듈은 사회적 힘 모델(Social Force)과 차량 동역학을 결합해 기본 이동 경로를 생성한다. 데이터 기반 서브모듈은 GED와 기존 궤적 데이터를 입력으로 받아 Transformer‑Encoder‑Decoder 구조를 사용해 미래 위치 시퀀스를 예측한다. 여기서 핵심은 감정 그래프를 어텐션 메커니즘에 직접 삽입함으로써, ‘불안’ 혹은 ‘흥분’ 같은 정서 상태가 이동 의도에 미치는 영향을 학습한다는 점이다. 두 서브모듈의 출력은 가중합을 통해 최종 궤적으로 통합되며, 가중치는 상황별 신뢰도(예: 시야 차단 여부, 감정 인식 확률)로 동적으로 조정된다.

실험 설계는 두 가지 데이터셋을 활용한다. 첫 번째는 도시 거리에서 수집한 보행자·자전거·자동차 영상 데이터이며, 두 번째는 대규모 군중 시뮬레이션 데이터(ETH‑UCY 확장판)이다. 각 데이터셋에 대해 그룹 감정 라벨을 추가로 주석화했으며, 기존 베이스라인(Social‑LSTM, Trajectron++, PECNet 등)과 비교했다. 정량적 평가는 ADE(average displacement error)와 FDE(final displacement error) 지표를 사용했으며, 제안 모델은 평균 ADE 0.42 m, FDE 0.71 m를 기록해 기존 최고 성능 대비 각각 15 %·18 % 개선을 보였다. 정성적 분석에서는 ‘불안’ 그룹이 급격히 방향을 바꾸는 상황, ‘긍정’ 그룹이 원활히 흐르는 상황에서 예측 정확도가 크게 차이 나는 것을 확인했다.

또한, ablation study를 통해 감정 그래프 없이 순수 물리 기반, 순수 데이터 기반, 그리고 감정 그래프만을 사용한 경우를 각각 평가하였다. 결과는 감정 정보를 포함했을 때만 복합적인 사회적 상호작용을 정확히 포착한다는 것을 입증한다. 마지막으로 실시간 구현 가능성을 검증하기 위해 모델을 GPU 기반 엔비디아 RTX 3080에 배포했으며, 30 FPS 이상의 추론 속도를 달성해 실제 자율주행 시스템에 적용 가능한 수준임을 보여준다.

이 논문은 감정이라는 비정형 사회적 요인을 정량적 그래프 형태로 변환하고, 이를 물리·데이터 기반 예측에 융합함으로써 기존 궤적 예측 한계를 크게 확장한다는 점에서 학술적·산업적 의의가 크다. 특히, 인간‑로봇 협업, 군중 관리, 스마트 시티 교통 제어 등 다양한 분야에 응용될 가능성이 높다.