구조화된 잠재공간을 활용한 차세대 3D 모핑 프레임워크

초록

MorphAny3D는 훈련 없이 Structured Latent(SLAT) 표현을 이용해 소스와 타깃 3D 객체를 자연스럽게 변형한다. 핵심은 Morphing Cross‑Attention(MCA)와 Temporal‑Fused Self‑Attention(TFSA)로, 각각 구조적 일관성과 시간적 연속성을 보장한다. 추가적인 자세 보정 전략을 통해 자세 급변을 완화하고, 교차 카테고리 변환에서도 높은 시각적 품질을 달성한다.

상세 분석

본 논문은 3D 모핑의 근본적인 난제인 “구조적 일관성”과 “시간적 부드러움”을 동시에 만족시키는 방법을 제시한다. 기존 3D 모핑은 두 단계(정밀 대응 찾기 → 보간) 방식에 의존했으며, 특히 서로 다른 카테고리 간 대응을 찾기 어려워 비현실적인 변형이 발생한다. 최근 등장한 Trellis의 Structured Latent(SLAT) 표현은 각 voxel에 로컬 잠재벡터(z_i)와 위치(p_i)를 명시적으로 부여해, 3D 생성 모델 내부에 풍부한 기하·텍스처 정보를 내재한다. 저자들은 SLAT을 단순히 노이즈 수준에서 보간하거나 2D 모핑 결과를 3D로 승격시키는 방식이 시간적 일관성을 보장하지 못한다는 점을 실험적으로 확인하고, “Attention 내부에서 SLAT 피처를 직접 융합”하는 것이 보다 자연스러운 변형을 만든다는 핵심 통찰을 도출한다.

Morphing Cross‑Attention(MCA)은 소스와 타깃의 이미지 조건을 각각 Key·Value로 사용하고, 현재 프레임의 Query와 선형 가중합(α)된 Key·Value를 결합한다. 이 과정은 기존 KV‑Fused CA가 구조적 plausibility를 크게 향상시킨 사실을 확장한 것으로, SLAT의 2D 조건이 서로 보완적으로 작용해 형태적 왜곡을 최소화한다. 반면, Temporal‑Fused Self‑Attention(TFSA)는 현재 프레임의 Query와 이전 프레임의 SLAT 피처를 Key·Value에 포함시켜, 시계열 전후 프레임 사이의 정보 흐름을 강화한다. 이는 PPL(Perceptual Path Length) 지표에서 현저히 낮은 값을 기록하며, 부드러운 움직임을 보장한다.

두 모듈을 단순히 병합하면 구조적 일관성이 손상되는 현상이 관찰되었는데, 이는 서로 다른 레벨(2D 조건 vs 3D 잠재)에서의 융합이 충돌하기 때문이다. 따라서 저자들은 MCA와 TFSA를 각각 독립적으로 적용하고, 최종 출력 단계에서 선형 보간(α)만 수행하도록 설계함으로써 plausibility‑smoothness 트레이드오프를 최적화한다.

또한, SLAT 기반 3D 객체는 생성 과정에서 특정 축을 중심으로 회전하는 경향이 있어, 프레임 간 갑작스러운 자세 변화가 발생한다. 이를 해결하기 위해 “Orientation Correction” 전략을 도입했는데, 이는 사전 통계(각도 분포) 기반으로 각 프레임의 회전 행렬을 정규화하여 급격한 자세 변화를 억제한다.

실험에서는 ShapeNet 및 자체 수집한 교차 카테고리 데이터셋을 사용해 FID와 PPL을 종합적으로 평가했으며, 기존 매칭 기반, 2D‑to‑3D 파이프라인, 직접 노이즈 보간 방식에 비해 현저히 우수한 결과를 보였다. 특히 “벌 → 비행기”, “의자 → 자동차”와 같은 극단적인 변환에서도 구조적 왜곡 없이 자연스러운 중간 형태를 생성한다. 추가 실험으로 decoupled morphing(형태와 텍스처를 별도 변형)과 3D 스타일 트랜스퍼를 시연했으며, SLAT을 활용한 다른 생성 모델(예: SDF‑GAN)에도 동일한 모듈을 적용해 비슷한 성능 향상을 확인했다.

한계점으로는 현재 SLAT 기반 모델 자체의 해상도 제한과, 매우 복잡한 토폴로지를 가진 객체(예: 나무, 인체)의 경우 세부 디테일 보존이 다소 부족할 수 있다는 점을 언급한다. 향후 연구에서는 고해상도 SLAT 설계와, 물리 기반 시뮬레이션을 결합한 동적 모핑으로 확장할 가능성을 제시한다.