다이나믹 지원 정보로 재정의하는 차세대 범주‑무관 포즈 추정

초록

CapeNext은 고정된 텍스트 키포인트 설명만을 이용하는 기존 CAPE 방식의 다의성·세부 변동성 문제를 해결한다. 질의 이미지와 클래스 설명을 텍스트와 이미지 양쪽에서 동시 활용해 계층적 교차‑모달 상호작용(HCMI)과 이중‑스트림 특성 정제(DSFR)를 수행, 키포인트 임베딩을 동적으로 보강한다. MP‑100 실험에서 백본에 관계없이 기존 최첨단 방법들을 크게 앞선다.

상세 분석

본 논문은 범주‑무관 포즈 추정(CAPE) 분야에서 “고정 텍스트 키포인트 설명”만을 지원 정보로 사용하는 기존 2‑stage 파이프라인의 근본적인 한계를 체계적으로 짚어낸다. 첫 번째 한계는 다의성(polysemy)으로 인한 교차‑카테고리 모호성이다. 예컨대 “leg”이라는 단어는 인간의 다리와 의자의 다리라는 전혀 다른 형태학적 구조를 가리키며, 텍스트 임베딩 공간에서는 동일하게 매핑돼 시각적 매칭 과정에서 오류를 초래한다. 두 번째 한계는 동일 카테고리 내에서도 인스턴스마다 외관·포즈가 크게 달라지는 미세 변이(intra‑category variance)이다. “흰 고양이의 꼬리”와 “검은 고양이의 꼬리”는 같은 텍스트 표현으로는 구분되지 않아, 정밀한 키포인트 위치 추정이 어려워진다.

이러한 문제를 해결하기 위해 저자들은 세 가지 핵심 아이디어를 제안한다. 첫째, 질의 이미지 자체를 추가적인 “지원” 정보로 활용한다. 이는 기존 방법이 지원 이미지에만 의존하거나 텍스트만 사용하는 것과 달리, 질의 이미지의 시각적 세부 정보를 직접 임베딩에 주입함으로써 인스턴스‑레벨 변이를 보완한다. 둘째, 클래스 수준의 텍스트 설명(예: “고양이”, “의자”)을 도입해 다의성에 대한 사전 필터링 역할을 수행한다. 클래스 텍스트는 일반적인 형태와 의미를 제공해, 동일 텍스트 키포인트가 다른 객체에 매핑되는 경우를 억제한다. 셋째, 두 종류의 모달리티(이미지, 텍스트)를 효과적으로 융합하기 위해 계층적 교차‑모달 상호작용(HCMI)과 이중‑스트림 특성 정제(DSFR)라는 두 모듈을 설계한다.

HCMI는 CLIP으로 인코딩된 이미지 임베딩(e_img)과 클래스 텍스트 임베딩(e_cls)을 concat 후 self‑attention을 적용해 상호 보완적인 정보를 교환한다. 이 과정에서 이미지 임베딩은 클래스 임베딩으로부터 전역적인 의미적 가이드를 받고, 클래스 임베딩은 이미지 임베딩으로부터 구체적인 시각적 디테일을 획득한다. 결과적으로 e′_img와 e′_cls는 모달 간 격차가 감소하고, 각각 인스턴스‑특화와 클래스‑레벨 정보를 강화한다.

DSFR은 원본 텍스트 키포인트 임베딩(e_joint)과 HCMI‑강화된 이미지·클래스 임베딩을 각각 cross‑attention에 투입한다. 두 스트림의 attention 결과를 residual 형태로 e_joint에 더함으로써, 기존 고정 텍스트 임베딩에 이미지·클래스 정보를 동적으로 보강한다. 이렇게 정제된 joint embedding은 이후 Transformer encoder‑decoder와 그래프 트랜스포머 디코더에 입력돼, 키포인트 간 구조적 관계를 그래프 형태로 모델링하고, heatmap·offset 맵을 출력한다.

실험에서는 MP‑100이라는 대규모 범주‑무관 포즈 데이터셋을 사용해, ResNet‑50, Swin‑Transformer 등 다양한 백본에 대해 CapeNext이 기존 최첨단 방법(CapeX, CapeFormer, X‑Pose 등)을 평균 6~9% AP(average precision) 이상 상승시킴을 보였다. 특히 “다의성”이 심한 카테고리(가구 vs 동물)와 “인스턴스 변이”가 큰 카테고리(고양이, 개)에서 개선 폭이 크게 나타났다. Ablation study는 HCMI와 DSFR 각각이 독립적으로 성능 향상에 기여함을 확인했으며, 클래스 텍스트 없이 이미지만 사용하거나 그 반대의 경우 모두 성능 저하가 관찰되었다.

이 논문은 “텍스트만으로는 한계가 있다”는 기존 인식을 넘어, 질의 이미지 자체를 동적 지원 정보로 활용함으로써 텍스트와 이미지의 장점을 상호 보완하는 새로운 패러다임을 제시한다. 또한, 계층적 교차‑모달 상호작용과 이중‑스트림 정제라는 설계가 모달리티 간 불일치를 효과적으로 완화하고, 키포인트 임베딩을 상황에 맞게 적응시킬 수 있음을 실증적으로 증명한다. 향후 연구에서는 다중 지원 이미지·텍스트를 동시에 활용하거나, LLM 기반의 더 풍부한 언어 설명을 결합해 더욱 정교한 컨텍스트 인코딩을 탐색할 여지가 있다.