마인드 팔라스를 활용한 장시간 비디오 이해

초록

본 논문은 장시간 egocentric 비디오에서 시간적으로 멀리 흩어져 있지만 공간적으로 집중된 핵심 순간들을 효율적으로 파악하기 위해 “마인드 팔라스” 개념을 차용한 VideoMindPalace 프레임워크를 제안한다. 손‑물체 추적, 활동 구역 클러스터링, 환경 레이아웃 매핑을 통해 3계층 위계 그래프를 구축하고, 이를 JSON 형태로 LLM에 입력해 자연어 기반의 시공간 및 3D 추론을 가능하게 한다. 또한 인간 수준의 공간·시간·레이아웃 추론을 평가하는 Video MindPalace Benchmark(VMB)를 설계하고, EgoSchema, NExT‑QA, IntentQA, Active Memories 등 기존 벤치마크에서 경쟁 모델 대비 우수한 성능을 입증한다.

상세 분석

VideoMindPalace는 장시간 비디오의 핵심 정보를 ‘노드’와 ‘엣지’로 구조화하는 3‑계층 위계 그래프를 제안한다. 1계층은 인간과 물체를 나타내며, RT‑DETR 기반 객체 검출과 ByteTrack 기반 다중 객체 추적을 결합해 프레임마다 객체 ID, 카테고리, 바운딩 박스를 획득한다. 이때 손‑물체 상호작용을 추출하기 위해 손 관절 키포인트와 물체 접촉 여부를 판단하는 모듈을 추가해 인간‑물체 상호작용 그래프를 형성한다. 2계층은 ‘활동 구역’으로, 각 프레임의 카메라 포즈와 RGB 정보를 이용해 공간 클러스터링(예: DBSCAN)으로 활동이 집중되는 영역을 식별한다. 각 구역은 1계층 서브그래프와 연결돼 해당 구역 내에서 발생한 상호작용을 집계한다. 3계층은 방·공간 레이아웃을 나타내며, 구역 간 상대 거리와 연결성을 그래프 엣지로 표현한다. 여기에는 3D 맵핑 모델(Tschernezki et al., 2024)을 활용해 방 구조와 문·통로 등을 추정한다.

이러한 위계 구조는 LLM이 텍스트 기반 추론을 수행할 때, “어디에서 물체를 사용했는가”, “두 위치 사이에 장애물이 없는가”와 같은 질문을 그래프 탐색 형태로 변환할 수 있게 한다. 저자들은 그래프를 JSON 형태로 직렬화해 텍스트‑전용 LLM에 프롬프트로 제공하고, LLM은 사전 정의된 질의 템플릿을 통해 노드 속성(예: 물체 종류, 위치 좌표)과 엣지 관계(시간 순서, 공간 인접)를 조합해 답변을 생성한다.

벤치마크 VMB는 세 가지 질문 유형을 포함한다. (1) 강화된 공간 로컬라이제이션은 물체 간 정밀한 거리·방향 관계를 요구한다. (2) 맥락적 시간 추론은 사건 순서와 인간 기억 방식을 모방해 “먼저 무엇을 했는가”와 같은 질문에 답한다. (3) 레이아웃 인식 추론은 방·구역 간 이동 경로와 장애물 유무를 판단한다. VMB는 기존 Ego4D‑QA, AMB 등과 달리 멀티‑선택형과 개방형 질문을 혼합해 인간‑유사 추론 능력을 종합적으로 평가한다.

실험 결과, VideoMindPalace는 VMB에서 평균 7.3%p의 정확도 향상을 보였으며, EgoSchema, NExT‑QA, IntentQA에서도 기존 최첨단 모델 대비 4‑6%p 상승했다. 특히 공간·시간 일관성 점수에서 큰 폭의 개선이 관찰되었으며, 이는 그래프 기반 구조가 LLM에게 불필요한 중복 정보를 제거하고 핵심 시공간 관계만을 제공함으로써 추론 효율성을 높인 결과로 해석된다. 또한 ablation study에서 활동 구역 클러스터링을 제외하면 성능이 3%p 이하로 감소함을 보여, 3계층 구조가 상호 보완적으로 작용함을 확인했다.

한계점으로는 현재 손‑물체 상호작용 탐지가 2D 이미지에 의존해 깊이 정보를 완전히 활용하지 못한다는 점과, 복잡한 다중 방 구조에서 레이아웃 추정 오류가 발생할 가능성이 있다. 향후 연구에서는 3D 포인트 클라우드 기반 물체 추적과 실시간 그래프 업데이트를 도입해 동적 환경에서도 안정적인 추론을 목표로 할 수 있다.