텍스트 기반 압출로 3D 메쉬 생성하기

초록

본 논문은 메쉬를 다각형 리스트가 아닌 면 압출 시퀀스로 표현하는 텍스트 기반 형식인 TEE(Text Encoded Extrusion)를 제안하고, 이를 대형 언어 모델(LLM)로 학습시켜 임의의 정밀도를 갖는 매니폴드 3D 메쉬를 자동 생성·편집하는 방법을 제시한다.

상세 분석

이 연구는 기존 트랜스포머 기반 메쉬 생성 방식이 토큰 수 폭증, 연속 좌표 예측 어려움, 매니폴드 보장 미비 등의 한계를 갖는 점을 정확히 짚어낸다. 저자들은 면 압출(face extrusion)이라는 기하학적 연산을 텍스트로 인코딩함으로써, LLM이 연속적인 좌표와 토폴로지를 동시에 다룰 수 있게 만든다. 핵심 아이디어는 FEQ(Face Extrusion Quad) 메쉬를 기반으로, 비자기교차(face loop)와 비자기인접(face loop) 조건을 만족하는 사각형 메쉬를 면 루프 단위로 분해하고, 각 압출 단계에 대해 1) 기반 패치의 기하학적 설명, 2) 이전 압출에 대한 참조, 3) 압출 영역을 정의하는 경계 곡선을 텍스트 문자열로 변환한다는 점이다. 이렇게 만든 TEE 시퀀스는 기존 LLM(예: LLaMA)에게 그대로 입력될 수 있어, 별도 아키텍처 설계 없이도 복잡한 메쉬 생성이 가능하다.

데이터 전처리 단계에서는 모든 FEQ 메쉬를 면 루프 그래프(DAG)로 변환하고, 토폴로지적 순서를 여러 가지로 랜덤화해 학습 데이터의 다양성을 확보한다. 압출 순서를 선형화한 뒤 K‑means 클러스터링을 적용해 대표 압출을 추출, 이를 텍스트에 삽입함으로써 모델이 새로운 압출 조합을 생성하도록 유도한다. 학습 과정에서 LLM은 압출 파라미터(패치 좌표, 경계 곡선, 이전 단계 ID 등)를 토큰 시퀀스로 예측하고, 이를 실제 기하학적 연산으로 되돌려 메쉬를 재구성한다.

이 접근법의 장점은 세 가지로 요약된다. 첫째, 압출 연산 자체가 매니폴드성을 보장하므로 생성된 메쉬는 항상 토폴로지적으로 올바르다. 둘째, 텍스트 기반이므로 출력 면 수에 제한이 없으며, 연속적인 정점 좌표를 직접 다룰 수 있다. 셋째, 기존 메쉬에 압출 시퀀스를 적용하면 부분 편집·특징 추가가 가능해, 생성과 편집을 하나의 파이프라인에서 수행할 수 있다. 실험에서는 DF‑AUST와 MANO 데이터셋을 사각형 버전으로 변환해 평가했으며, 제안 방법이 기존 트랜스포머 기반 모델보다 높은 면 수, 매니폴드 보장, 그리고 자유로운 특징 추가 능력을 보임을 확인했다.