계층적 인스턴스 추적으로 프라이버시와 정보 접근성 균형

초록

본 논문은 객체와 그 부품을 계층적으로 추적하는 새로운 과제인 “계층적 인스턴스 추적(HIT)”을 정의하고, 552개의 영상에 2,765개의 엔티티를 라벨링한 BIV‑Priv‑HIT 데이터셋을 공개한다. 기존 영상 추적·분할 데이터와 달리 객체·부품 모두에 의미 라벨을 부여하고, 동일 픽셀이 여러 의미를 가질 수 있도록 계층 구조를 유지한다. 4가지 모델의 7가지 변형을 평가했으며, 현재 모델들은 특히 작은 부품 추적에서 성능이 저조함을 보인다. 이는 프라이버시 보호와 유용한 정보 제공 사이의 균형을 위한 새로운 연구 방향을 제시한다.

상세 분석

본 연구는 프라이버시 보호와 데이터 활용성을 동시에 만족시켜야 하는 실생활 시나리오를 배경으로, 기존의 비디오 객체 분할(VOS)과 비디오 인스턴스 분할(VIS) 과제를 통합한 “계층적 인스턴스 추적(Hierarchical Instance Tracking, HIT)”이라는 새로운 과제를 제안한다. 핵심 아이디어는 사전에 정의된 객체와 부품 카테고리를 모두 추적하면서, 객체‑부품 간의 계층적 관계를 유지하는 것이다. 이를 위해 저자들은 40개의 의미 카테고리(객체 16종, 부품 24종)를 정의하고, 시각장애인들이 촬영한 552개의 영상에서 2,765개의 고유 엔티티(객체 537개, 부품 2,228개)를 마스크렛(masklet) 형태로 라벨링하였다. 데이터는 평균 27.9초 길이의 비교적 긴 영상으로 구성돼 기존 VOS·VIS 데이터셋보다 2~11배 길다.

데이터셋 구축 과정에서 특히 주목할 점은(1) 동일 픽셀이 객체와 부품 두 레벨에서 동시에 라벨링될 수 있도록 계층 구조를 명시했으며, (2) 부품 라벨이 텍스트를 포함하거나 길고 얇은 형태를 띠는 등 기존 부품 데이터와 차별화된 특성을 보인다는 것이다. 이러한 특성은 프라이버시 민감 정보(예: 이름, 주소, 신용카드 번호 등)를 정확히 식별·마스킹하는 데 필수적이다.

평가에서는 최신 VOS, VIS, 그리고 계층적 이미지 분할 모델을 비디오에 적용하기 위해 여러 차선책(다중 추론 패스, 후처리 연관성 매핑 등)을 사용하였다. 4가지 기본 모델(예: Mask2Former 기반, STM, XMem 등)의 7가지 변형을 실험했으며, 전반적으로 mAP와 IDF1 지표에서 낮은 성능을 보였다. 특히 부품(특히 작은 텍스트 라벨) 추적에서 실루엣이 흐릿하거나 오클루전이 발생하면 즉시 오류가 누적돼 프라이버시 보호에 치명적인 누수를 초래한다. 모델들의 연산 효율성도 떨어져, 실시간 서비스 적용이 어려운 점이 드러났다.

이 결과는 현재의 비디오 분할·추적 프레임워크가 “동일 픽셀에 다중 의미 부여”와 “시간적 일관성 유지”라는 두 축을 동시에 만족시키지 못함을 시사한다. 따라서 새로운 아키텍처가 필요하다. 예를 들어, 객체‑부품 계층을 그래프 형태로 표현하고, 그래프 신경망을 통해 시간적 연관성을 학습하거나, 멀티태스크 학습으로 객체와 부품을 동시에 예측하도록 설계할 수 있다. 또한 프라이버시 민감 부품에 대해 높은 신뢰도를 요구하므로, 불확실도 추정과 인간‑인-루프 검증을 결합한 하이브리드 시스템도 고려할 만하다.

결론적으로, 본 논문은 프라이버시 중심 서비스(시각장애인 보조, 원격 의료, 로봇 탐색 등)에서 필수적인 “계층적 인스턴스 추적” 문제를 정의하고, 이를 지원하는 최초의 대규모 벤치마크를 제공함으로써 연구 커뮤니티에 새로운 도전 과제를 제시한다.