딥러닝 기반 3D 메시 워터마킹: 토폴로지 무관 GCN과 적응형 강인성 설계

초록

본 논문은 최초로 딥러닝을 활용한 3D 메쉬 워터마킹 프레임워크를 제안한다. 토폴로지에 구애받지 않는 그래프 컨볼루션(GCN) 구조와, 시뮬레이션된 공격 레이어를 결합해 다양한 변형·노이즈·크롭·스무딩 공격에 대한 적응형 강인성을 학습한다. 또한 곡률 일관성 손실을 도입해 시각적 품질을 유지하면서도 빠른 임베딩·추출 속도를 달성한다. 실험 결과, 기존 전통적 방법 대비 보편적인 강인성과 효율성을 크게 향상시켰으며, 비템플릿 메쉬에도 적용 가능함을 입증한다.

상세 분석

이 연구는 3차원 메쉬 워터마킹 분야에서 딥러닝을 처음으로 적용한 점이 가장 큰 혁신이다. 기존 방법들은 공간 도메인 혹은 변환 도메인에 기반해 수작업으로 알고리즘을 설계해야 했으며, 특정 공격(예: 크롭, 리메싱, 노이즈)에 맞춰 별도의 파라미터 튜닝이 필요했다. 논문은 이러한 한계를 극복하기 위해 엔드‑투‑엔드 네트워크를 설계했으며, 핵심 구성 요소는 다음과 같다.

1. 토폴로지‑무관 GCN: 메쉬는 정점과 면으로 이루어지지만, 정점 순서와 연결 구조가 매번 달라 전통적인 컨볼루션 적용이 어려웠다. 저자는 이질적인 이웃을 동일하게 취급하는 동등 가중치 필터와 정점 차수 정규화를 결합한 GraphConv 연산을 정의함으로써, 메쉬의 토폴로지에 독립적인 특징 추출이 가능하도록 했다. 이는 템플릿 기반이 아닌 임의의 메쉬에도 동일 모델을 그대로 적용할 수 있게 한다.

2. 임베딩 서브넷: 입력 메쉬와 워터마크 비트를 각각 64‑차원 피처로 변환한 뒤, 워터마크 인코더가 생성한 잠재 코드(z_w)를 정점 수에 맞게 복제(expand)하고 정점 좌표와 결합한다. 이후 두 개의 GraphRes 블록과 하나의 추가 GraphConv 레이어를 거쳐 변형된 정점 좌표 V_wm을 출력한다. 이 과정에서 ‘Expanding’ 함수가 정점 재정렬에 강인하도록 설계돼, 정점 순서가 바뀌어도 임베딩 결과가 유지된다.

3. 공격 레이어: 네트워크 학습 중에 실제 사용 환경을 모사하기 위해 회전, 가우시안 노이즈, 스무딩(Taubin), 크롭 등 네 가지 공격을 무작위로 적용한다. 공격 레이어는 미분 가능하도록 구현돼, 임베딩 서브넷과 추출 서브넷이 동시에 역전파를 통해 공격에 대한 최적 방어 전략을 학습한다. 이는 “적응형 강인성”이라는 새로운 개념을 실현한다.

4. 추출 서브넷: 공격을 받은 메쉬 V_att를 동일한 Feature Learning 모듈에 통과시킨 뒤, 전역 평균 풀링(Global Pooling)과 2‑layer MLP를 통해 워터마크 비트를 복원한다. 전역 풀링은 정점 재정렬에 무관하게 전체 메쉬 정보를 요약하므로, 정점 재배열 공격에 강인한다.

5. 손실 함수: (i) 워터마크 복원 정확도를 위한 MSE 손실 l_w, (ii) 전체 정점 변형량을 제한하는 MSE 손실 l_m, (iii) 국부 기하학의 부드러움을 보존하기 위한 곡률 일관성 손실(l_curv)으로 구성된다. 특히 l_curv은 각 정점의 평균 곡률 차이를 최소화함으로써 시각적 품질 저하를 방지한다.

실험에서는 Stanford Bunny와 ModelNet 등 두 데이터셋에 대해 다양한 공격 조합을 적용했으며, 기존 스페셜 도메인 기반 방법들에 비해 워터마크 복원률이 5‑15% 이상 향상되고, 임베딩·추출 시간도 30% 이상 단축되었다. 또한, 사전 학습된 모델을 다른 토폴로지를 가진 메쉬에 그대로 적용했을 때도 높은 복원률을 유지해, 모델의 일반화 능력이 뛰어남을 확인했다.

이 논문의 주요 기여는 (1) 3D 메쉬 워터마킹에 딥러닝을 도입한 최초 사례, (2) 토폴로지‑무관 GCN을 통한 범용 메쉬 처리, (3) 공격 레이어를 통한 적응형 강인성 학습, (4) 곡률 기반 시각 품질 보전 손실 도입, (5) 실험을 통한 전통적 방법 대비 전반적인 성능 우위 입증이다. 향후 연구는 더 다양한 공격(예: 리메싱, 텍스처 변형)과 멀티‑비트 고용량 워터마크, 그리고 실시간 렌더링 파이프라인에의 통합을 탐색할 여지가 있다.