구조 인식 3D 포인트 클라우드 생성 파트와 대칭을 활용한 사중 확산 모델

초록

본 논문은 파트와 대칭 정보를 명시적으로 모델링하는 네 개의 확산 모델을 결합해, 전역 형태 잠재와 파트별 대칭, 의미 파트, 그리고 파트 조립 과정을 순차적으로 학습한다. 이를 통해 대칭이 보장된 고품질·다양한 포인트 클라우드를 생성하고, 개별 파트 조작이 가능하도록 구조적 해석성을 제공한다.

상세 분석

Quartet of Diffusions은 3D 포인트 클라우드 생성에 구조적 선행지식을 통합한 최초의 시도라 할 수 있다. 기존의 대부분 생성 모델은 전체 형태를 하나의 고차원 분포로 학습해 파트 간 관계나 대칭성을 명시적으로 다루지 못했으며, 파트 기반 접근법도 대칭을 별도 제약으로 포함하지 못했다. 이 논문은 네 개의 독립적인 확산 모델을 설계해 각각 (1) 전역 형태 잠재 z, (2) 파트별 대칭 그룹 S_j, (3) 의미 파트 p_j, (4) 파트 조립 변환 T_j 를 학습한다. 전역 VAE 기반의 잠재 z는 Sparse VAE(SVAE)와 라티스 확산을 결합해 희소성을 유도함으로써 해석 가능한 특징을 추출하고, prior hole 문제를 완화한다. 대칭 모델은 반사와 회전을 Hesse 정규형으로 표현하고, 최대 두 개의 반사(또는 회전)로 구성된 군을 학습한다. 파트는 기본 도메인만 생성 후 대칭 변환을 적용해 전체 파트를 복원함으로써 샘플링 효율을 높이고 대칭 보장을 자연스럽게 달성한다. 조립 단계에서는 파트별 인코더 q_ϕ가 잠재 w_j 를 추출하고, 이를 조건으로 T_j 를 샘플링해 파트를 정밀하게 배치한다. 이러한 계층적 확산 흐름은 전역 z가 모든 하위 모듈에 공유되므로 파트 간 일관성을 유지한다. 실험에서는 ShapeNet 및 ModelNet 데이터셋에서 FID, MMD, 그리고 대칭 일관성 지표에서 기존 Diffusion 기반 및 파트 기반 모델을 크게 앞선 성능을 보였다. 특히, 대칭 보장률이 99%에 육박하며, 파트 수준의 편집(예: 팔 길이 조절, 좌우 대칭 교체)에서도 전역 구조가 깨지지 않는다. 그러나 몇 가지 한계도 존재한다. 첫째, 대칭 그룹을 반사와 회전 두 개 이하로 제한함으로써 복잡한 비정형 대칭(예: 비정규 스케일 대칭)에는 적용이 어려울 수 있다. 둘째, 파트 수 M을 사전에 고정해야 하는데, 이는 가변적인 파트 구성을 요구하는 카테고리(예: 가구)의 경우 유연성이 떨어진다. 셋째, 네 개의 확산 모델을 순차적으로 학습·샘플링하는 구조는 연산 비용이 증가해 실시간 응용에는 제한이 있다. 향후 연구에서는 대칭 군의 표현을 확장하고, 파트 수를 동적으로 결정하는 메커니즘을 도입하며, 멀티모달(텍스트·이미지) 조건부 생성과 결합하는 방향이 기대된다.