밀도 예측을 위한 세그멘테이션 계층 SHED

초록

SHED는 인코더‑디코더 구조에 계층적 세그멘테이션 토큰을 도입해, 최종 출력만으로도 자동으로 세그먼트 계층을 학습한다. 인코더에서 슈퍼픽셀을 점진적으로 풀링해 코어 세그먼트를 만들고, 디코더에서 역방향 언풀링을 통해 전역 구조를 픽셀 수준 예측에 직접 전달한다. 이 설계는 깊이 경계의 선명도와 객체 내부 일관성을 크게 향상시키며, 합성 데이터에서 실제 환경으로의 도메인 전이에서도 강인한 성능을 보인다.

상세 분석

SHED는 기존 비전 트랜스포머(ViT) 기반 픽셀‑와이즈 예측 모델이 갖는 “구조적 누수”(structural leakage) 문제를 근본적으로 해결한다는 점에서 혁신적이다. 핵심 아이디어는 ‘세그멘테이션 토큰’을 명시적으로 모델 내부에 삽입하고, 이를 양방향 계층적 흐름(bidirectional hierarchical reasoning)으로 다루는 것이다. 인코더 단계에서는 입력 이미지를 초기에 슈퍼픽셀(수천 개)로 분할하고, 각 슈퍼픽셀에 평균 풀링된 특징을 부여한다. 이후 ViT 블록과 그래프 풀링을 교차 적용해 토큰 간 유사도 기반 소프트 어사인먼트 행렬 Pₗ을 계산하고, 이를 통해 더 큰 세그먼트 토큰 Zₗ을 생성한다. 이 과정은 ‘전방 계층(forward hierarchy)’이라 불리며, 점점 더 추상적인 부분‑전체 관계를 학습한다. 흥미로운 점은 이 계층이 명시적인 라벨 없이도 깊이 예측 손실만으로 스스로 구조를 정렬한다는 것이다.

디코더는 이 전방 계층을 역전시켜 ‘역방향 계층(reverse hierarchy)’을 구현한다. 코어 토큰 Zₗₘₐₓ부터 시작해 Pₗ⁺¹ᵀ를 곱해 점점 더 세밀한 토큰으로 분배하고, 각 레벨에서 인코더의 대응 토큰 Zₗ과 스킵 연결을 통해 융합한다. 이렇게 얻어진 Z′ₗ은 다시 소프트 어사인먼트 행렬을 이용해 초기에 정의한 슈퍼픽셀‑픽셀 매핑 S₀에 곱해 공간 특징 맵 Fₗ을 복원한다. 결국 전역 구조 정보가 직접 픽셀‑레벨 예측에 주입되어, 경계가 날카롭고 객체 내부가 평탄한 깊이 맵을 생성한다.

SHED의 설계는 몇 가지 중요한 장점을 제공한다. 첫째, 구조적 사전(geometric prior)이 모델에 내재화되어 있기 때문에, 합성 데이터(NYU‑Synthetic 등)에서 학습한 뒤 실제 실내·실외 장면으로 전이할 때도 경계 왜곡이나 깊이 불연속이 크게 감소한다. 둘째, 깊이 손실만으로도 세그멘테이션 계층이 형성되므로 별도의 라벨링 비용이 들지 않는다. 이는 멀티태스크 학습에서 흔히 요구되는 추가 어노테이션을 절감한다는 의미다. 셋째, 디코더가 코어 토큰을 점진적으로 언풀링하면서 얻는 ‘전역‑전달‑지역’ 피드백 루프는 기존 U‑Net 스타일의 스킵 연결보다 더 강력한 구조적 일관성을 제공한다. 마지막으로, 학습된 세그먼트 토큰을 시각화하면 물체의 파트 레벨 구조가 자연스럽게 드러나며, 이는 3D 재구성 단계에서 파트‑기반 모델링이나 물체 인식에 활용될 수 있다.

실험 결과는 이론적 기대를 뒷받침한다. NYU‑Depth V2와 KITTI 등 표준 벤치마크에서 SHED는 기존 최첨단 모델(DPT, Depth Anything 등) 대비 경계 F‑score와 평균 절대 오차(MAE)에서 유의미한 개선을 보였으며, 특히 도메인 갭이 큰 SYNTHIA→Cityscapes 전이 실험에서 구조적 일관성 유지가 두드러졌다. 또한, SHED가 생성한 깊이 맵을 이용한 포인트 클라우드 재구성에서는 파트‑레벨 정밀도가 향상되어, 기존 픽셀‑와이즈 방법이 놓치기 쉬운 작은 물체나 얇은 구조를 정확히 복원했다.

전체적으로 SHED는 “세그멘테이션을 밀도 예측에 통합한다”는 새로운 패러다임을 제시한다. 전통적인 픽셀‑와이즈 회귀를 넘어, 인간 시각 시스템이 수행하는 ‘부분‑전체 피드백’ 메커니즘을 모델에 구현함으로써, 구조적 정확도와 일반화 능력을 동시에 끌어올렸다. 앞으로 이 접근법은 깊이 외에도 광학 흐름, 표면 법선, 라이다 포인트 예측 등 다양한 밀도 예측 문제에 확장될 가능성이 크다.