악순환에서 선순환으로 비지도 비디오 객체 중심 학습을 위한 시너지 표현 학습

초록

본 논문은 슬롯 기반 비지도 객체 중심 모델에서 인코더의 고주파, 날카로운 어텐션 맵과 디코더의 저주파, 흐릿한 재구성 맵 사이에 존재하는 근본적인 불일치를 ‘악순환’이라 규정하고, 이를 ‘시너지 표현 학습(SRL)’이라는 두 단계 상호 정제 메커니즘으로 깨뜨린다. SRL은 인코더의 날카로운 어텐션을 이용해 디코더 출력을 디블러링하고, 디코더의 공간적 일관성을 이용해 인코더 특징을 디노이징한다. 초기 워밍업 단계에서는 슬롯 정규화 손실로 슬롯 붕괴를 방지하고, 이후 두 개의 삼항 대조 손실이 서로를 보완한다. 실험 결과 SRL은 최신 비디오 객체 중심 벤치마크에서 최첨단 성능을 달성한다.

상세 분석

본 연구는 슬롯 어텐션 기반 비지도 객체 중심 학습이 재구성 손실에 의존함으로써 발생하는 두 가지 공간 맵 간의 특성 불일치를 정확히 짚어낸다. 인코더는 DINO‑v2와 같은 고해상도 특징을 사용해 픽셀 수준에서 날카로운 어텐션 맵을 생성하지만, 이는 고주파 노이즈와 잘못된 장거리 패치 결합을 내포한다. 반면 디코더는 MLP 기반 슬롯‑투‑픽셀 디코더를 통해 평균화된 재구성을 수행하므로 저주파, 흐릿한 출력이 된다. 이러한 불일치는 (1) 인코더의 노이즈가 디코더를 과도하게 평균화하도록 만들고, (2) 흐릿한 재구성으로부터 역전파되는 그래디언트가 인코더의 고주파 정보를 충분히 전달하지 못한다는 악순환을 형성한다.

SRL은 이 악순환을 두 갈래의 상호 보완적 정제 경로로 전환한다. 첫 번째 ‘디블러링 경로’에서는 인코더 어텐션을 기준으로 삼항 대조 손실 L_CL‑dec를 설계한다. 앵커 패치를 중심으로 (a) 자기 자신을 양성, (b) 동일 슬롯에 속하지만 어텐션 점수가 낮은 패치를 반양성, (c) 다른 슬롯에 속하는 패치를 음성으로 구분한다. 이렇게 하면 디코더는 흐릿한 경계 부근에서 정확한 객체 구분을 학습하도록 강제된다. 두 번째 ‘디노이징 경로’에서는 디코더가 생성한 마스크를 기준으로 L_CL‑enc를 정의한다. 여기서 디코더의 공간적 일관성이 인코더 특징 공간에 강한 정규화 신호를 제공해, 원래의 고주파 노이즈를 억제하고 보다 일관된 어텐션을 형성한다.

두 손실은 모두 임베딩 투사 후 InfoNCE‑형식의 대조 손실을 사용하지만, ‘삼항’ 구조를 도입해 하드 네거티브와 세미‑포지티브를 명시적으로 구분한다 점이 핵심이다. 이는 기존의 단순 양·음성 대조보다 더 정교한 경계 학습을 가능하게 하며, 서로 다른 모듈이 서로의 약점을 보완하도록 설계되었다.

또한 SRL은 초기 워밍업 단계에서 슬롯 정규화 손실을 적용한다. 이 손실은 슬롯 간 KL 발산을 최소화하면서도 중복 슬롯을 탐지해 재할당함으로써, 초기 학습 단계에서 슬롯 붕괴(slots collapse)를 방지한다. 워밍업이 끝난 뒤에만 대조 손실을 활성화함으로써, 안정적인 슬롯 초기화 위에 상호 정제 메커니즘을 쌓을 수 있다.

실험에서는 여러 비디오 객체 중심 데이터셋(실제 물리 기반 시뮬레이션, CLEVR‑VID, MOVi‑A 등)에서 SRL이 기존 Slot Attention, STEVE, SlotContrast 등과 비교해 재구성 PSNR, ARI, mIoU 등에서 일관된 개선을 보였다. 특히 경계 정확도가 크게 향상돼 객체 마스크의 세밀한 디테일이 보존되는 것을 확인했다. Ablation study는 (1) 워밍업 없이 바로 대조 손실을 적용하면 학습이 불안정해짐, (2) 삼항 대조 대신 이진 대조를 사용할 경우 디블러링 효과가 급격히 감소함을 보여준다.

이 논문은 비지도 객체 중심 학습에서 “인코더‑디코더 간 표현 격차”라는 근본적 문제를 명시하고, 이를 ‘시너지’를 통한 상호 정제로 전환함으로써 기존 방법론의 한계를 뛰어넘는 새로운 패러다임을 제시한다.