텍스처 합성에 의미분할을 결합한 CNN 기반 새로운 접근법

초록

**
본 논문은 기존 CNN 기반 텍스처 합성에서 발생하는 공간 왜곡 문제를 해결하기 위해, 이미지 합성 전 단계에 의미분할(semantic segmentation)을 삽입하는 방법을 제안한다. CRF‑RNN 기반의 의미분할 모델로 전경과 배경을 구분한 뒤, 각각에 대해 VGG‑19 네트워크를 이용해 스타일 매칭과 Gram‑matrix 기반 텍스처 재생성을 수행한다. 실험 결과, 전통적인 단일 텍스처 합성 대비 객체 형태와 세부 디테일이 크게 보존됨을 확인하였다.

**

상세 분석

**
논문은 먼저 기존 텍스처 합성 방법을 두 갈래로 구분한다. 하나는 반응‑확산 등 생물학적 모델을 이용한 절차적 합성으로, 파라미터 튜닝이 어려워 실용성이 떨어진다. 다른 하나는 샘플 기반 MRF, 웨이브렛, Efros‑Freeman 방식 등으로, 최근에는 CNN 기반의 신경망이 Gram‑matrix를 이용해 스타일을 전이하는 방식이 주류를 이룬다. 그러나 이러한 신경망 기반 방법은 전체 이미지를 하나의 텍스처로 처리하기 때문에, 복합 장면에서 객체 경계가 흐려지고 형태 왜곡이 발생한다는 근본적인 한계가 있다.

이를 극복하기 위해 저자는 “전처리 단계로 의미분할을 삽입”한다는 아이디어를 도입한다. 의미분할에는 Fully Convolutional Network(FCN)와 CRF‑RNN을 결합한 최신 모델을 사용했으며, VOC‑2012 테스트에서 평균 IU 74.7%를 기록한 CRF‑RNN을 최종 선택하였다. CRF‑RNN은 CNN이 제공하는 unary potential과 RNN 기반의 CRF가 제공하는 pairwise potential을 동시에 학습함으로써, 픽셀 수준에서 정밀한 경계 복원을 가능하게 한다.

분할이 완료되면 전경(예: 사람, 동물)과 배경을 각각 별도의 이미지로 추출한다. 이후 각 영역에 대해 VGG‑19 네트워크를 통과시켜 다중 레이어의 피처 맵을 얻고, 피처 간 상관관계를 나타내는 Gram‑matrix를 계산한다. 텍스처 재생성은 백색 잡음이 아닌, 원본 전경(또는 배경) 이미지를 초기값으로 사용해 gradient descent를 수행함으로써, 공간 정보를 완전히 무시하지 않으면서도 스타일 특성을 유지한다.

실험에서는 Picasso 스타일 이미지에 대해 분할 전후의 합성 결과를 비교하였다. 분할 없이 전체 이미지에 적용하면 세부 구조가 소실되고 색채가 흐려지는 반면, 전경‑배경을 별도로 처리한 경우 객체 형태가 명확히 보존되고, 스타일 특성이 자연스럽게 전달된다. 또한 VGG‑19가 AlexNet·GoogLeNet보다 3×3 작은 커널을 연속 사용함으로써 세밀한 텍스처 정보를 더 잘 포착한다는 점을 확인하였다.

논문의 주요 기여는 다음과 같다. (1) 텍스처 합성 파이프라인에 의미분할을 도입해 공간 왜곡을 근본적으로 감소시켰다. (2) CRF‑RNN 기반 분할이 텍스처 전이 과정에서 경계 보존에 미치는 효과를 실증하였다. (3) VGG‑19와 Gram‑matrix 기반 최적화가 스타일 매칭 정확도를 높임을 입증하였다. 한계점으로는 현재 실험이 제한된 이미지와 스타일에만 적용됐으며, 대규모 텍스처 데이터베이스 구축 및 자동 매칭 알고리즘이 부재하다는 점을 들 수 있다. 향후 연구에서는 이러한 데이터베이스와 매칭 모델을 통합해 실시간, 대규모 장면에 적용 가능한 AI 기반 페인팅 시스템을 목표로 한다.

**