깊은 신경망을 이용한 이미지 컬러화

초록

본 논문은 사전 학습된 이미지 분류용 컨볼루션 신경망을 활용해 흑백 이미지의 내용(feature)과 색상 이미지의 스타일(feature)을 분리한 뒤, 의미적으로 유사한 컬러 이미지의 스타일을 결합하여 흑백 이미지를 자동으로 색칠하는 새로운 방법을 제안한다. 특히 일본 전통 회화인 우키요에에 적용해 실험 결과를 제시함으로써 컴퓨터 보조 예술 분야에서의 가능성을 보여준다.

상세 분석

이 연구는 기존 이미지 색채화 작업이 주로 픽셀‑레벨 회귀나 조건부 생성 모델에 의존하던 점을 탈피한다. 저자들은 ImageNet 등에서 사전 학습된 VGG‑19와 같은 깊은 컨볼루션 신경망을 ‘내용 추출기’와 ‘스타일 추출기’로 재활용한다. 흑백 입력 이미지에 대해 네트워크의 중간 레이어(보통 conv4_2)를 사용해 내용 표현을 얻고, 색상 레퍼런스 이미지에 대해 여러 레이어(예: conv1_1~conv5_1)의 Gram 행렬을 계산해 스타일 표현을 만든다. 이후 내용 손실과 스타일 손실을 동시에 최소화하는 최적화 과정을 통해 색채화된 출력 이미지를 생성한다.
핵심 아이디어는 “내용‑스타일 분리”를 색채화 문제에 적용함으로써, 색상 정보를 직접 학습하지 않아도 의미적으로 유사한 레퍼런스 이미지의 색감이 자연스럽게 전이된다는 점이다. 이를 위해 저자들은 색상 레퍼런스를 선택할 때 이미지 검색 엔진이나 사전 정의된 태그 기반의 의미적 유사도 매트릭스를 활용한다. 선택된 레퍼런스가 내용과 구조가 유사할수록 색채화 결과가 더 설득력을 갖는다.
기술적인 구현 측면에서는 L‑BFGS 혹은 Adam 기반의 역전파 최적화를 사용해 초기 무작위 색상 맵을 점진적으로 업데이트한다. 또한, 총 변동(total variation) 정규화를 추가해 색상 경계가 부드럽게 유지되도록 한다. 실험에서는 전통적인 회색조 색채화 데이터셋뿐 아니라, 우키요에 작품을 흑백화한 후 동일한 파이프라인을 적용해 시각적으로 만족스러운 결과를 얻었다.
하지만 이 접근법은 레퍼런스 이미지에 크게 의존한다는 한계가 있다. 의미적 유사도가 낮은 레퍼런스를 사용하면 색상이 부자연스럽게 섞이거나, 원본 이미지의 문화적·역사적 색채를 왜곡할 위험이 있다. 또한, 최적화 기반 방법은 계산 비용이 높아 실시간 응용에는 부적합하다. 향후 연구에서는 레퍼런스 선택을 자동화하고, 스타일 전이와 색채화를 동시에 학습하는 엔드‑투‑엔드 네트워크를 설계함으로써 이러한 제약을 극복할 수 있을 것으로 기대된다.