멀티모달 계층형 디리클레 프로세스를 활용한 효율적 행동 인식

**1. 서론** 인간은 물체를 인식할 때 시각, 청각, 촉각 등 다양한 감각을 활용하고, 이를 위해 물체에 손을 대거나 흔드는 등 행동을 수행한다. 로봇도 동일한 멀티모달 정보를 필요로 하지만, 행동마다 실행 시간이 길어 제한된 시간 안에 효율적인 행동 선택이 필수적이다. 기존 연구들은 주로 단일 모달리티(시각) 혹은 휴리스틱 기반 행동 선택에 머물렀으며, 멀티모달 객체 인식을 위한 이론적 근거가 부족했다. **2. 관련 연구** 멀티모달 카테고리화 방법으로는 LDA 기반 확장(Multi‑modal LDA, MLDA)과 HDP 기반 MHDP가 있다. 활성 인식(active perception) 분야에서는 정보이득(IG)이나 상호정보(MI)를 활용한 시각‑중심 방법이 주류였으며, 멀티모달 상황에 대한 체계적 이론은 거의 없었다. 또한, 활성 학습(active learning)과는 달리 라벨이 없는 상황에서 행동을 통해 관측을 늘리는 문제는 별개의 도전 과제이다. **3. 멀티모달 계층형 디리클레 프로세스(MHDP)** MHDP는 HDP를 다중 모달리티에 확장한 비파라메트릭 베이지안 모델이다. 각 객체 j는 여러 행동‑모달리티 쌍 m에 대해 관측 x_{mjn}을 생성하며, 이 관측은 토픽(카테고리) k에 대한 다항분포 θ_{mk}에서 샘플링된다. 토픽 할당 z_{mjn}은 전역 토픽 분포 G₀와 각 객체별 토픽 분포 G_j에서 계층적으로 추출된다. 이 구조는 새로운 객체가 등장해도 토픽 수를 자동으로 조정할 수 있게 해준다. **4. 제안하는 행동 선택 방법** 문제 정의: 제한된 행동 수 B 내에서 행동 집합 A⊆M을 선택해 객체 j의 카테고리 사후분포 p(z|A)와 전체 모달리티를 관측했을 때의 사후분포 p(z|M) 사이의 KL 발산을 최소화한다. 이를 등가적으로 IG(A)=E_{x_A}