장면‑컨텍스트 기반 증강 프로토타입으로 구현하는 3D 증분 소수샷 세그멘테이션

초록

**
SCOPE는 베이스 학습 단계에서 배경 영역을 클래스‑agnostic 모델로부터 고신뢰도 의사 인스턴스로 추출해 인스턴스 프로토타입 풀을 구축한다. 새로운 클래스가 소수 샷으로 등장하면 해당 풀에서 관련 배경 프로토타입을 검색·주의 메커니즘으로 결합해 기존 프로토타입을 풍부하게 만든다. 백본 재학습 없이 모든 프로토타입 기반 3D 세그멘터에 플러그‑인 가능하며, ScanNet·S3DIS에서 기존 최첨단 대비 평균 IoU·신규 클래스 IoU를 각각 1‑7% 이상 향상시킨다.

**

상세 분석

**
본 논문은 3D 포인트 클라우드에서 증분 소수샷(IFS) 세그멘테이션을 다루면서, 기존 방법들이 겪는 ‘catastrophic forgetting’과 ‘prototype impoverishment’를 근본적으로 해결하고자 한다. 핵심 아이디어는 베이스 단계에서 모델이 배경으로 라벨링된 영역에도 의미 있는 객체‑레벨 구조가 존재한다는 점을 활용하는 것이다. 이를 위해 저자들은 사전 학습된 클래스‑agnostic 세그멘테이션 네트워크 Θ를 오프라인으로 적용해, 베이스 데이터의 배경 포인트 중 높은 신뢰도를 가진 의사 마스크를 생성한다. 각 마스크는 임베딩 백본 Φ(점‑별 특징 추출기)와 결합해 평균 풀링을 수행함으로써 µᵢⱼ 형태의 인스턴스 프로토타입을 만든다. 이러한 프로토타입을 전역 인스턴스 프로토타입 뱅크(IPB) P에 저장하고, 이후 모든 증분 단계에서 고정한다는 점이 메모리·연산 효율성을 크게 높인다.

새로운 클래스가 K‑shot 샘플과 함께 도입되면, 기존 프로토타입 p_c 를 직접 계산한다. 동시에 CPR(Contextual Prototype Retrieval) 모듈이 IPB에서 클래스‑c와 가장 의미적으로 연관된 서브셋 B_c 를 검색한다. 연관성 평가는 임베딩 공간에서의 코사인 유사도와 신뢰 점수 기반 가중치를 결합해 수행한다. 검색된 다수의 배경 프로토타입은 APE(Attention‑Based Prototype Enrichment) 단계에서 다중‑헤드 어텐션을 통해 가중 평균되며, 최종적으로 ˜p_c 라는 풍부한 프로토타입을 만든다. 이 과정은 백본 Φ를 전혀 수정하지 않으며, 추가 파라미터도 도입되지 않는다. 따라서 ‘minimal‑adaptation’ 원칙을 완벽히 만족한다.

실험에서는 ScanNet과 S3DIS 두 대형 실내 데이터셋에서, SCOPE를 기존 프로토타입 기반 3D 세그멘터(예: GW, CAPL 등)에 적용하였다. 결과는 신규 클래스 IoU가 최대 6.98% (ScanNet)·3.61% (S3DIS) 상승하고, 전체 mIoU도 각각 2.25%·1.70% 개선됨을 보여준다. 특히 베이스 클래스에 대한 망각률은 거의 증가하지 않아, 증분 학습의 핵심 요구사항인 ‘지식 유지’를 충족한다.

이 논문은 (1) 배경을 단순 노이즈가 아니라 미래 클래스의 잠재적 원천으로 재해석, (2) 클래스‑agnostic 모델을 활용해 라벨이 없는 데이터를 효과적으로 활용, (3) 플러그‑인 형태로 기존 파이프라인에 손쉽게 통합 가능하다는 점에서 3D IFS 분야에 중요한 전진을 제시한다. 향후 연구는 더 복잡한 장면(예: 야외 라이다)이나 멀티‑모달(이미지‑포인트) 환경에 IPB와 CPR/APE를 확장하는 방향으로 진행될 수 있다.

**