신경망 메모리 객체를 이용한 소수샷 템플릿 뷰 기반 인식

초록

NeMO는 몇 장의 RGB 템플릿 이미지만으로 객체의 기하학적·시멘틱 정보를 압축한 점군 형태의 메모리를 생성하고, 이를 디코더에 전달해 단일 네트워크로 객체 검출·분할·6DoF 자세 추정을 동시에 수행한다. 카메라 파라미터나 사전 학습된 CAD 모델이 필요 없으며, 새로운 객체에 대해 추가 학습 없이 바로 활용할 수 있다.

상세 분석

NeMO 논문은 기존 소수샷 객체 인식 방법이 템플릿 이미지와 쿼리 이미지 사이의 쌍별 매칭에 의존하고, 템플릿 수가 늘어날수록 연산량이 급증한다는 한계를 극복하기 위해 ‘객체‑중심 메모리’를 도입한다. 핵심 아이디어는 다중 뷰 인코더와 Vision Transformer(ViT)를 이용해 템플릿 이미지 집합에서 패치‑단위 특징을 추출하고, 이를 무작위로 샘플링한 3D 점군과 결합하는 ‘Geometric Mapping’ 블록이다. 여기서 점군은