3D 포인트 클라우드를 위한 쿼터니언 등변 캡슐 네트워크

본 논문은 3차원 포인트 클라우드 데이터를 처리하기 위해, 회전·이동에 등변(equivariant)하고 점 순열에 불변(invariant)인 새로운 캡슐 네트워크 구조를 제안한다. 기존의 포인트넷(PointNet) 계열은 순열 불변성을 제공하지만, SO(3) 회전에 대한 등변성을 갖추지 못해 회전 변형에 취약했다. 이를 해결하기 위해 저자들은 로컬 레퍼런스 프레임(LRF)을 사전 계산하고, 각 LRF를 기본 캡슐로 사용한다. LRF는 점 집합의 국소 기하학을 반영하므로, 전체 객체의 자세를 결정하는 데 충분한 정보를 제공한다. 네트워크의 핵심 모듈은 Quaternion Equivariant Capsule(QEC)이다. QEC는 입력 캡슐(각 LRF)과 학습 가능한 변환 t_{i,j}를 결합해 ‘투표(v_{i,j})’를 만든다. 투표는 쿼터니언 곱을 통해 회전 정보를 전달하며, 이는 SO(3) 그룹 연산과 동일하다. 이후 동적 라우팅(dynamic routing) 단계에서, 각 투표에 대해 현재 활성화 α_i와 투표와 출력 캡슐 간 지오데식 거리 δ(·)를 이용해 가중치 w_{i,j}=α_i·σ(−δ( q̂_j, v_{i,j}))를 계산한다. 여기서 σ는 sigmoid 함수이며, 거리 기반 가중치는 투표가 현재 출력 캡슐과 얼마나 일치하는지를 나타낸다. 다음으로, 가중치가 적용된 투표 집합에 대해 쿼터니언 평균 A(S,w)를 수행한다. 평균 연산은 M=Σ w_i q_i q_i^T 형태의 4×4 행렬을 구성하고, 그 최대 고유값에 대응하는 고유벡터를 새로운 출력 캡슐 q̂_j로 선택한다. 이 과정은 Weiszfeld 알고리즘의 IRLS(Iteratively Re‑Weighted Least Squares) 형태와 동일하며, 논문은 이를 통해 라우팅이 수학적으로 수렴함을 증명한다. 출력 캡슐의 활성화 α̂_j는 모든 투표와 출력 캡슐 간 거리의 평균에 sigmoid을 적용해 정의된다: α̂_j=σ(−(1/K) Σ δ( q̂_j, v_{i,j} )). 따라서 높은 α̂_j를 가진 캡슐은 다수의 일관된 투표에 의해 지지받는 ‘인라이어’ 캡슐이며, 이는 전통적인 캡슐 네트워크에서 ‘agreement’를 측정하던 방식과 일치한다. QEC 모듈을 여러 층으로 쌓아 계층적 라우팅을 수행한다. 하위 레벨에서는 수천 개의 LRF가 존재하지만, 라우팅을 거치면서 점차 적은 수의 고수준 캡슐로 압축된다. 최종 레이어의 캡슐은 (활성화, 쿼터니언) 쌍으로 표현되며, 활성화는 객체 존재 여부를, 쿼터니언은 객체의 전역 자세를 나타낸다. 따라서 분류를 위해서는 활성화만 사용하고, 자세 추정을 위해서는 가장 높은 활성화를 가진 캡슐의 쿼터니언을 직접 읽어내면 된다. 학습은 전통적인 교차 엔트로피 손실만을 사용해 클래스 라벨만 제공한다. 자세 라벨은 전혀 제공되지 않으며, 라우팅 과정에서 자동으로 자세 정보를 추출한다는 점이 혁신적이다. 또한, Siamese 구조를 도입해 두 객체 간 상대 회전을 추정하도록 확장했으며, 이는 동일 객체의 다른 샘플링 간 정합에도 활용 가능하다. 실험에서는 ModelNet10 및 ModelNet40 데이터셋을 사용해 분류 정확도와 자세 추정 오차를 평가했다. 분류 성능은 기존의 회전 불변/등변 방법들보다 우수했으며, 특히 자세 추정에서는 라벨이 없음에도 평균 회전 오차가 몇 도 수준으로 낮아 라우팅이 실제 회전 평균화 역할을 충실히 수행함을 입증했다. 또한, 라우팅 반복 횟수와 가중치 초기화에 대한 민감도 분석을 통해 제안된 알고리즘이 안정적임을 확인했다. 이 논문의 주요 기여는 다음과 같다. (1) 쿼터니언을 이용해 연속적인 SO(3) 파라미터화를 구현하고, 이를 기반으로 등변 동적 라우팅을 설계했다. (2) 동적 라우팅을 Weiszfeld 알고리즘과 연결시켜 IRLS 기반 회전 평균화와 수렴성을 이론적으로 증명했다. (3) 캡슐 구조를 통해 기하학적 정보(자세)와 의미적 정보(활성화)를 명확히 분리함으로써, 자세 라벨 없이도 객체 분류와 자세 추정을 동시에 수행할 수 있는 네트워크를 구축했다. 이러한 접근은 3D 비지도 학습, 로봇 매니퓰레이션, 증강 현실 등 회전 변형이 빈번한 응용 분야에 큰 잠재력을 제공한다.