다중 이미지 기반 2D 불변 어포던스 지식 학습으로 3D 어포던스 그라운딩 향상

초록

본 논문은 동일 어포던스 범주에 속하는 여러 인간‑물체 상호작용 이미지를 활용해 2D 불변 어포던스 지식을 추출하고, 이를 3D 포인트 클라우드와 결합해 물체의 기능적 영역을 정확히 예측하는 MIFAG 프레임워크를 제안한다. IAM 모듈은 반복적 업데이트와 이중‑브랜치 구조로 이미지 간 공통 패턴을 정제하고, ADM 모듈은 사전 구축된 어포던스 사전을 교차‑어텐션으로 점 클라우드에 융합한다. 새롭게 구축한 MIPA 벤치마크에서 기존 최첨단 방법들을 크게 앞선 성능을 보인다.

상세 분석

MIFAG는 3D 어포던스 그라운딩의 핵심 문제인 “이미지와 3D 형태 간 불일치”를 두 단계로 해결한다. 첫 번째 단계인 Invariant Affordance Knowledge Extraction Module(IAM)은 다중 이미지에서 공통된 어포던스 특성을 추출하기 위해 Learnable Affordance Query Tokens를 도입한다. 이 토큰들은 각 레이어마다 Multi‑Head Cross‑Attention(MCA)과 Multi‑Head Self‑Attention(MSA)을 통해 이미지 피처와 상호작용하며, 이미지 간 유사성을 강제하는 Similarity Loss를 적용해 모든 이미지가 동일 어포던스 카테고리를 공유하도록 유도한다. 이중‑브랜치(affordance knowledge branch와 image feature branch) 설계는 이미지 외관 변동에 의한 잡음을 최소화하고, 최종 레이어에서 형성된 어포던스 사전은 n개의 이미지에 걸친 불변 지식을 압축한다.

두 번째 단계인 Affordance Dictionary Adaptive Fusion Module(ADM)은 점 클라우드 피처와 사전 지식을 효율적으로 결합한다. 점 클라우드에서 추출한 쿼리 Q_P는 사전의 키(K_ID)와 값(V_ID)와 교차‑어텐션(IQDCA)으로 연결된다. 여기서 코사인 유사도 기반 Softmax를 사용해 각 점이 어느 이미지의 어포던스 토큰과 가장 연관성이 높은지를 가중치 행렬 A에 반영한다. 이렇게 얻어진 P_q는 n개의 이미지별 어포던스 정보를 모두 포함한 텐서이며, 이후 Self‑Weighted Attention을 적용해 불필요한 토큰을 억제하고 최종 P_mix을 생성한다. 이 과정은 기존의 단순 self‑attention이 가진 “쿼리·키·밸류가 동일”이라는 제한을 넘어, 외부 사전을 동적으로 활용함으로써 점 클라우드와 2D 어포던스 지식 사이의 시맨틱 갭을 메운다.

학습 목표는 세 가지 손실을 결합한다. ① IAM 단계의 Similarity Loss는 이미지 간 일관성을, ② ADM 단계의 Heatmap Loss는 점 클라우드 레벨에서의 어포던스 영역 예측 정확성을, ③ 전체 파이프라인의 Cross‑Entropy Loss는 최종 이진/다중 라벨 분류를 각각 최적화한다.

MIFAG는 또한 Multi‑Image and Point Affordance(MIPA) 벤치마크를 새롭게 제시한다. MIPA는 기존 3D 어포던스 데이터셋에 다중 이미지 레퍼런스를 추가해, 모델이 다양한 시각적 변이와 동일 어포던스 카테고리 간의 관계를 학습하도록 설계되었다. 실험 결과, MIFAG는 평균 IoU, mAP 등 주요 지표에서 기존 3D AffordanceNet, IAGNet, LASO 등을 크게 앞섰으며, 특히 이미지 외관 변동이 큰 경우에도 강인한 일반화 능력을 보였다.

핵심 기여는 (1) 다중 이미지에서 불변 어포던스 지식을 추출하는 IAM 설계, (2) 어포던스 사전을 점 클라우드와 융합하는 ADM 메커니즘, (3) MIPA라는 새로운 평가 프로토콜 제공이다. 이 접근법은 로봇 매니퓰레이션, 인간‑로봇 협업 등 3D 물체와 상호작용이 요구되는 실제 환경에서 보다 신뢰성 있는 어포던스 인식을 가능하게 한다.