다중모달·다중뷰 인간활동인식의 유연한 뷰 결합을 위한 AliAd 모델

초록

AliAd는 다중모달·다중뷰 인간활동인식을 위해 설계된 모델로, 뷰가 임의로 결합되거나 누락될 때도 학습·추론이 가능하도록 한다. 조정된 중심 대비 손실(Adjusted Center Contrastive Loss)을 사용해 뷰 간 정렬을 수행하고, 뷰 품질 가중치를 반영해 O(V) 시간 복잡도로 학습한다. 또한, 가중치 기반 어텐션 융합 뒤에 희소 혼합전문가(MoE) 모듈을 두어 남은 불일치를 보정하고, 다양한 뷰 조합에 일반화한다. 네 개 데이터셋(관성·포즈)에서 3~9개의 뷰를 대상으로 기존 방법보다 높은 정확도와 결측 뷰에 대한 강인성을 보였다.

상세 분석

AliAd는 기존 다중뷰 학습이 겪는 “뷰 결합 고정” 문제를 근본적으로 해소한다. 핵심 아이디어는 두 단계로 나뉜다. 첫 번째는 조정된 중심 대비 손실이다. 각 뷰의 임베딩을 정규화한 뒤, 어텐션 가중치 w 를 곱해 가중합(센터)을 만든다. 이후 각 뷰를 그 센터와 대비시켜 손실을 계산함으로써, 모든 뷰가 동일한 하이퍼구면 상에서 서로 끌어당겨진다. 이때 w 는 뷰 품질을 반영하므로, 고품질 뷰가 센터를 주도하고, 저품질 뷰는 손실 가중치 1‑w 로 억제된다. 기존의 전체 그래프 방식은 V(V‑1)/2 쌍을 계산해 O(V²) 복잡도를 갖지만, AliAd는 각 뷰당 하나의 센터 대비만 수행해 O(V) 로 줄인다. 두 번째는 희소 MoE 블록이다. 어텐션 융합 후 얻은 단일 벡터를 입력으로, 게이팅 함수가 현재 뷰 조합에 최적화된 전문가 서브네트워크를 선택한다. 로드밸런싱 전략을 통해 전문가가 과도하게 활성화되는 것을 방지하고, 보이지 않는 뷰 조합에서도 일반화한다. 또한, 정규화된 뷰와 센터가 동일한 구면에 놓이게 함으로써 MoE가 다루는 특징 공간이 일관되게 유지된다. 실험에서는 관성 센서(가속도·자이로)와 인간 포즈(키포인트) 데이터를 동시에 활용했으며, 뷰 수가 3에서 9까지 변동하는 상황에서도 기존 대비 3‑7% 정확도 향상을 달성했다. 특히, 임의로 뷰를 제거하거나 노이즈가 섞인 경우에도 성능 저하가 미미했으며, 이는 조정된 중심 대비 손실이 뷰 간 상호보완성을 효과적으로 학습했기 때문이다. 전체적으로 AliAd는 뷰 결합의 유연성, 계산 효율성, 그리고 성능 안정성을 동시에 만족시키는 설계라 할 수 있다.