통합 객체 중심 비디오 씬 그래프 생성 UNO

초록

UNO는 하나의 단계에서 박스 기반과 픽셀 기반 두 종류의 비디오 씬 그래프 생성 작업을 동시에 수행하도록 설계된 통합 프레임워크이다. 확장된 슬롯 어텐션으로 시각 특징을 객체 슬롯과 관계 슬롯으로 분해하고, 객체 시간 일관성 학습을 통해 프레임 간 객체 표현을 추적한다. 동적 트리플렛 예측 모듈은 관계 슬롯을 적절한 객체 쌍에 연결해 시간에 따라 변화하는 상호작용을 효율적으로 포착한다. 실험 결과, 기존 최첨단 모델들을 능가하면서도 파라미터와 연산량을 크게 절감한다.

상세 분석

UNO는 비디오 씬 그래프 생성(VidSGG) 분야에서 가장 큰 두 갈래, 즉 박스 수준의 동적 씬 그래프(DSGG)와 픽셀 수준의 파노프틱 씬 그래프(PVSG)를 하나의 모델로 통합하려는 시도이다. 기존 연구들은 각각의 과업에 특화된 아키텍처와 다단계 파이프라인을 사용해 객체 검출·트래킹·관계 분류를 별도로 수행했으며, 이는 연산 비용과 구현 복잡성을 크게 증가시켰다. UNO는 이러한 문제점을 해소하기 위해 세 가지 설계 원칙을 제시한다. 첫째, 모든 작업을 단일 단계에서 처리하도록 하여 태스크‑특화 모듈을 최소화하고 파라미터 공유를 극대화한다. 둘째, 객체 중심의 표현을 핵심으로 삼아 시각 특징을 ‘객체 슬롯’과 ‘관계 슬롯’이라는 두 종류의 모듈형 잠재 변수로 분해한다. 셋째, 명시적인 트래킹 없이도 객체의 시간 일관성을 유지하도록 객체 시간 일관성 학습(Object Temporal Consistency Learning, OTCL)을 도입한다.

핵심 기술인 확장 슬롯 어텐션은 기존 슬롯 어텐션