미분 가능한 프록시를 이용한 노드 그래프 최적화

초록

본 논문은 비미분 가능한 절차적 재질 그래프의 파라미터를 완전한 미분 가능 형태로 변환하는 “미분 가능한 프록시”를 제안한다. 프록시 네트워크를 통해 생성기 노드의 이산 파라미터까지 포함한 전체 그래프를 엔드‑투‑엔드로 최적화함으로써 구조와 외관을 동시에 목표 이미지에 맞출 수 있다. 3단계(전처리, 전역 최적화, 후처리) 전략과 수정된 StyleGAN2 기반 프록시 설계가 핵심이며, 실험에서 기존 MA​TCH 시스템보다 높은 품질과 빠른 수렴을 보였다.

상세 분석

이 논문은 절차적 재질 그래프 최적화 분야에서 가장 큰 제약 중 하나였던 “비미분 가능한 생성기 노드” 문제를 근본적으로 해결한다는 점에서 혁신적이다. 기존 연구인 Shi et al. 2020의 MA​TCH는 필터 노드만을 미분 가능하게 구현했으며, 구조적 차이를 반영할 수 없었다. 저자들은 이를 보완하기 위해 “Differentiable Proxy”(DP)라는 개념을 도입한다. DP는 원본 비미분 생성기 G(θ)를 동일한 입력 파라미터 θ를 받아 동일한 출력 이미지를 생성하도록 학습된 결정적 CNN Ĝ(θ)로 대체한다. 여기서 핵심 설계는 기존 StyleGAN2의 잠재공간 W⁺를 직접 사용하지 않고, 파라미터 θ를 바로 중간 레이어 W에 매핑하는 전용 완전연결 레이어를 삽입한 점이다. 이 구조는 (1) 원본 파라미터와 출력 사이의 일대일 대응을 보장하고, (2) 노이즈 입력을 제거해 stochastic한 패턴까지 정확히 재현한다.

손실 함수는 L₁ 손실, VGG19 기반 깊이 특징 손실, 스타일 손실(Gram matrix) 그리고 선택적 적대 손실을 가중치 λ₀~λ₃로 결합한다. 특히, 스크래치와 같이 고도로 무작위적인 패턴을 다룰 때는 적대 손실을 활성화해 시각적 아티팩트를 억제한다. 학습 데이터는 절차적 생성기를 다양한 θ값으로 샘플링해 자동으로 생성한 합성 이미지 쌍(θ, I)으로 구성한다.

최적화 파이프라인은 세 단계로 나뉜다. ① 전처리 단계에서는 기존 MA​TCH와 동일하게 색상·거칠기 등 연속 파라미터를 빠르게 맞춘다. ② 전역 최적화 단계에서는 DP를 이용해 생성기 파라미터와 필터 파라미터를 동시에 업데이트한다. 이때 학습률을 조절해 구조적 매칭을 우선시한다. ③ 후처리 단계에서는 DP를 원본 비미분 생성기로 교체하고, 필터 파라미터만 미세 조정해 최종 결과를 다듬는다. 이렇게 하면 DP가 제공한 미분 가능 공간을 이용해 전역 최적화를 수행하고, 마지막에 원본 생성기의 정확한 출력을 복원함으로써 실제 파이프라인과의 호환성을 유지한다.

실험에서는 다양한 재질(벽돌, 가죽, 도로 포장 등)과 목표 사진을 대상으로 기존 MA​TCH와 비교했다. 정량적 지표인 L₂ 거리와 구조적 유사도(SSIM) 모두에서 DP 기반 방법이 우수했으며, 특히 구조적 차이가 큰 경우(예: 스크래치가 있는 감자 껍질)에서 기존 방법이 전혀 매칭하지 못하는 반면, 제안 방법은 눈에 띄게 높은 품질을 달성했다. 또한 최적화 시간도 평균 30 % 이상 단축되었다.

이 논문의 한계는 프록시 학습에 필요한 합성 데이터 생성 비용과, 매우 복잡한 생성기(예: 물리 기반 시뮬레이션)에서는 프록시가 충분히 일반화되지 않을 가능성이다. 향후 연구에서는 메타러닝을 통한 프록시 재사용, 혹은 다중 프록시 앙상블을 통해 이러한 문제를 완화할 수 있을 것으로 기대된다.