단일 메시로부터 기하학적 텍스처를 학습하고 전이하는 딥 네트워크

초록

본 논문은 삼각형 메시에 존재하는 로컬 패치를 이용해 기하학적 텍스처를 학습하고, 이를 임의의 대상 메시에 무파라미터화·무젠러스 방식으로 전이하는 계층적 GAN 프레임워크를 제안한다. 네트워크는 삼각형의 1‑ring 이웃을 고정 크기 컨볼루션으로 처리해 회전·이동 불변 특성을 확보하고, 다중 스케일에서 점진적으로 세부 디테일을 합성한다. 결과적으로 서로 다른 토폴로지(Genus)를 가진 메쉬 간에도 텍스처를 자연스럽게 복제·변형할 수 있다.

상세 분석

이 연구는 기존 이미지 기반 텍스처 합성 기법을 3차원 메쉬에 직접 적용하려는 시도에서 출발한다. 핵심 아이디어는 “삼각형 패치”라는 로컬 구조를 정의하고, 이를 학습 데이터로 삼아 확률적 분포를 모델링하는 것이다. 메쉬는 비정형 그래프이지만, 각 삼각형은 정확히 세 개의 인접 삼각형을 갖는다는 사실을 이용해 고정 크기의 1‑ring 이웃을 갖는 ‘Face‑Convolution’을 설계한다. 입력 피처는 각 변의 길이와 반대 꼭짓점의 좌표를 로컬 좌표계(법선, 변 방향, 교차축)로 투영한 4‑차원 벡터 3개로 구성되며, 이는 회전·이동에 불변한다.

네트워크는 계층적 GAN 구조를 채택한다. 가장 낮은 해상도의 템플릿(예: 이코사헤드)부터 시작해, 각 레벨에서 가우시안 노이즈를 추가한 정점 위치를 입력으로 삼아 Face‑Convolution을 통해 깊은 특성을 추출한다. 마지막 컨볼루션 층은 각 삼각형당 3개의 정점 변위 벡터를 출력하고, 정점별로 인접 삼각형들의 변위를 평균해 최종 변위를 얻는다. 변위는 노멀 방향뿐 아니라 접면 방향도 포함하므로, 단순 2D 디스플레이스먼트 맵으로는 표현할 수 없는 복합적인 기하학적 텍스처를 생성한다.

생성된 메쉬는 바로 다음 스케일로 전이되며, 이때 서브디비전 연산을 수행해 삼각형 수를 늘린다. 각 스케일마다 별도의 판별기가 존재해 로컬 패치가 실제 레퍼런스와 구별되지 않을 정도로 사실적인지를 학습한다. 판별기는 역시 Face‑Convolution을 사용해 로컬 특징을 추출하고, 스케일별 receptive field를 조절함으로써 거친 형태부터 미세 디테일까지 단계적으로 제어한다.

학습 데이터는 레퍼런스 메쉬를 다중 해상도로 최적화하는 전처리 단계에서 생성된다. 저해상도 템플릿을 레퍼런스와 일치하도록 정점 위치를 최적화하고, 이를 반복적으로 서브디비전·최적화해 여러 레벨의 훈련 샘플을 만든다. 이렇게 하면 단일 레퍼런스 메쉬만으로도 풍부한 다중 스케일 패치를 확보할 수 있다.

핵심 기여는 (1) 삼각형 기반 고정‑크기 컨볼루션을 통한 기하학적 불변 피처 학습, (2) 계층적 GAN을 이용한 다중 스케일 텍스처 합성, (3) 토폴로지(Genus)에 구애받지 않는 텍스처 전이 메커니즘이다. 실험에서는 다양한 대상 메쉬(다양한 genus, 복잡한 형태)로 레퍼런스 텍스처를 성공적으로 복제·변형했으며, 기존 2D 기반 메쉬 텍스처 합성 방법보다 더 자연스러운 결과를 보여준다. 한계점으로는 현재 정점 변위가 로컬 패치에만 의존해 전역 구조 일관성을 보장하기 어려우며, 학습 시 단일 레퍼런스에 의존하기 때문에 스타일 다양성에 제한이 있다는 점을 들 수 있다. 향후 연구에서는 전역 컨텍스트를 통합한 하이브리드 아키텍처와 다중 레퍼런스 학습을 통해 보다 풍부한 텍스처 변형을 목표로 할 수 있다.