HY3D‑Bench: 차세대 3D 자산 생성 플랫폼

초록

HY3D‑Bench는 25만 개의 고품질 watertight 메쉬와 다중 뷰 렌더링, 24만 개의 파트‑레벨 분해 정보, 그리고 12.5만 개의 AIGC 합성 장기 꼬리 자산을 제공하는 통합형 3D 데이터 에코시스템이다. 이 데이터를 기반으로 Hunyuan3D‑2.1‑Small 모델을 학습시켜 3D 생성·인식·로보틱스 분야의 연구 장벽을 크게 낮춘다.

상세 분석

본 논문은 3D 생성 모델의 데이터 병목 현상을 근본적으로 해소하고자, 세 가지 핵심 축을 제시한다. 첫 번째 축은 대규모 고품질 3D 자산 라이브러리 구축이다. 저자들은 Objaverse·Objaverse‑XL 등 기존 대규모 저장소에서 250 k 개의 객체를 선별하고, 자동화된 파이프라인을 통해 비다양한 메쉬 오류(비매니폴드, 누락된 면, 중복 정점 등)를 정제하였다. 특히, 512 × 512 해상도의 watertight 메쉬와 24 × 24 뷰의 RGB·마스크 렌더링을 제공함으로써, VAE·Diffusion 기반 3D 모델 학습 시 필요한 고해상도 기하학적 정보를 손실 없이 활용할 수 있다.

두 번째 축은 파트‑레벨 구조화이다. 저자들은 메쉬 세그멘테이션 알고리즘과 인간 주석을 결합해 240 k 개의 파트 분해 정보를 생성했으며, 각 파트별 watertight 메쉬와 뷰‑종속 마스크를 제공한다. 이 구조화는 파트‑인식, 파트‑조건 생성, 그리고 로보틱스 시뮬레이션에서의 조작 가능성을 크게 확대한다. 특히, 파트‑레벨 라벨이 포함된 데이터셋은 기존의 전체 객체 수준 학습보다 더 세밀한 의미적 제어와 손쉬운 편집을 가능하게 한다.

세 번째 축은 AIGC 기반 장기 꼬리 데이터 합성이다. 텍스트‑투‑텍스트(Large Language Model)로 의미 확장을 수행하고, 텍스트‑투‑이미지 Diffusion 모델로 시각적 프롬프트를 생성한 뒤, 이미지‑투‑3D 파이프라인(예: DreamFusion, Gaussian Splatting)으로 메쉬를 복원한다. 이 3단계 프로세스는 20개의 슈퍼‑카테고리, 130개의 카테고리, 1 252개의 세부 하위 카테고리에 걸쳐 125 k 개의 합성 객체를 생산한다. 결과적으로, 데이터 분포의 장기 꼬리 영역이 크게 보강되어, 희소 카테고리에서도 강인한 일반화가 가능해졌다.

데이터 품질 검증은 Hunyuan3D‑2.1‑Small 모델 학습을 통해 수행되었다. HY3D‑Bench를 사용한 학습은 기존 Objaverse 기반 모델 대비 FID, CLIP‑Score, 그리고 파트‑정밀도에서 평균 12 % 이상의 개선을 보였으며, 로보틱스 시뮬레이션(예: 물체 잡기, 조작)에서도 충돌 회피와 안정성 측면에서 유의미한 향상을 기록했다.

또한, 논문은 400개의 고품질 객체를 선정해 표준 벤치마크와 평가 프로토콜을 제시한다. 메트릭은 3D 재구성 정확도(SDF L2), 파트 일관성(IOU), 그리고 텍스트‑조건 생성 품질(ClipScore, R-Precision) 등을 포함한다. 이와 함께, 사전 학습된 체크포인트와 데이터 처리 스크립트를 공개함으로써, 연구자들이 동일한 환경에서 재현 및 비교 실험을 수행할 수 있게 했다.

전반적으로 HY3D‑Bench는 데이터 전처리 비용을 크게 낮추고, 파트‑레벨 구조와 장기 꼬리 다양성을 동시에 제공함으로써, 3D 생성·인식·로보틱스 연구의 ‘데이터‑플랫폼’ 역할을 수행한다. 향후에는 더 많은 도메인(예: 의료, 건축)으로 확장하고, 실시간 렌더링과 물리 기반 시뮬레이션을 위한 메타데이터(재질, 물리 속성)까지 포함시키는 것이 자연스러운 발전 방향으로 보인다.