기하와 의미를 연결한 3D 시각 주의 모델

초록

본 논문은 인간이 3차원 물체를 바라볼 때 발생하는 하위‑상위 주의 메커니즘을 명시적으로 모델링한다. 기하학적 특징을 질의(query)로 사용해 사전 학습된 diffusion 기반 의미 프라이어를 검색하는 비대칭 교차‑주의 구조인 SemGeo‑AttentionNet을 제안하고, 이를 강화학습 기반 스캔패스 생성 프레임워크와 결합해 3D 메쉬 위의 시선 이동을 재현한다. SAL3D, NUS3D, 3DVA 데이터셋에서 기존 방법들을 크게 능가하는 성능을 보이며, 기하와 의미의 통합이 인간 시각 주의 예측에 필수적임을 입증한다.

상세 분석

SemGeo‑AttentionNet은 두 개의 독립 스트림, 즉 기하학적 스트림과 의미 스트림을 각각 Point Transformer V3와 diffusion‑기반 텍스트‑투‑이미지 모델(Stable Diffusion + ControlNet)에서 추출한 2048‑차원 특징으로 구성한다. 의미 프라이어는 100개의 뷰포인트에서 깊이·법선 맵으로 조건화된 diffusion 과정을 통해 얻으며, DINOv2와 결합해 픽셀‑레벨의 정밀도를 보강한다. 이후 각 뷰의 특징을 메쉬 정점에 역투영하고, K‑NN 집계와 평균을 통해 전역 의미 벡터 S를 만든다. 기하학적 스트림은 2048개의 샘플링 포인트와 그 법선을 6‑차원 입력으로 Point Transformer V3에 통과시켜 64‑차원 피처를 얻고, 32‑차원으로 압축한다. 의미 스트림 역시 2‑계층 MLP로 32‑차원으로 축소한다. 핵심은 비대칭 교차‑주의(geometry‑to‑semantics)이다. 기하학적 피처를 Query(Q)로, 의미 피처를 Key(K)·Value(V)로 사용해 Multi‑Head Attention을 수행함으로써, 저수준 기하학적 이질성이 상위 의미 검색을 촉진한다는 인간 시각 메커니즘을 구조적으로 구현한다. 이 과정에서 기하학적 피처가 의미 피처를 ‘질문’하므로, 의미가 강하더라도 기하학적으로 눈에 띄지 않는 영역은 주의 점수에서 억제된다.

스캔패스 생성은 3D 메쉬 위의 정점들을 상태 공간으로 하는 부분관측 마르코프 결정 과정(POMDP)으로 정의된다. 행동은 인접 정점으로 이동하는 것이며, 억제‑오프‑리턴(Inhibition‑of‑Return) 메커니즘을 보상 함수에 포함해 이미 방문한 영역의 점수를 감소시킨다. PPO(Proximal Policy Optimization)로 정책을 학습하며, 정점‑기반 액션 스페이스는 기존 2D 픽셀‑기반 접근과 달리 메쉬 토폴로지를 보존한다.

실험에서는 SAL3D, NUS3D, 3DVA 데이터셋에 대해 AUC, NSS, CC 등 다중 지표에서 기존 손잡이 기반, 포인트 클라우드 기반, 텍스처‑통합 모델들을 크게 앞선다. 특히 의미가 중요한 영역(예: 얼굴, 텍스트)에서 기하학적 대비가 낮음에도 높은 saliency를 예측하는 능력이 두드러진다. Ablation 연구는 (1) 의미 프라이어 없이 순수 기하학 모델, (2) 대칭적 합성, (3) 의미 프라이어를 미동결 학습했을 때 성능 저하를 확인해 제안된 비대칭 교차‑주의와 frozen diffusion 프라이어의 중요성을 입증한다.

이 논문은 (i) diffusion 기반 의미 프라이어를 3D 메쉬에 효율적으로 매핑하는 파이프라인, (ii) 인간의 하위‑상위 주의 이론을 반영한 비대칭 교차‑주의 설계, (iii) 메쉬 토폴로지를 고려한 강화학습 스캔패스 생성이라는 세 가지 혁신을 제공한다. 향후 연구는 실시간 렌더링, 멀티모달(촉감·소리) 통합, 그리고 작업‑특정 목표를 반영한 목표‑지향 스캔패스 모델링으로 확장될 수 있다.