크래클루어 탐지를 위한 변분‑생성 하이브리드 모델

초록

본 논문은 회화 이미지에서 균열(크래클루어)을 자동으로 검출하기 위해, 관측 이미지를 “균열 없는 그림”과 “균열 지도”로 분해하는 역문제로 정의한다. 그림 배경은 VQGAN 기반 딥 생성 모델을 사전으로 사용하고, 균열은 Mumford‑Shah 변분 함수와 AT 완화 방식을 통해 모델링한다. 추가로 사전 학습된 DeepCrack 네트워크를 균열 사전으로 도입해 false positive를 억제한다. 전체 에너지 함수를 공동 최적화하여 픽셀 수준의 균열 맵을 얻으며, 합성·실제 데이터에서 F1 점수 0.97을 달성한다.

상세 분석

이 연구는 회화 이미지의 균열 검출을 전통적인 이미지 처리와 최신 딥러닝을 결합한 새로운 역문제 프레임워크로 접근한다. 먼저 관측 이미지 U를 두 구성 요소 B(균열 없는 배경)와 C(균열 마스크)로 분해하는 수식 U = T(B, C)+n을 제시한다. 여기서 T는 단순히 B와 C를 합성하는 연산이며, n은 잡음이다. 역문제는 일반적으로 존재·유일·안정성 중 하나 이상이 결여되는 ill‑posed 문제이므로, 베이지안 관점에서 두 종류의 사전 R_Painting 과 R_Crack을 도입한다.

배경 사전은 최근 주목받는 딥 생성 모델인 VQGAN을 활용한다. VQGAN은 이미지넷으로 사전 학습된 후, 논문에서는 약 8,100장의 균열 없는 회화 패치를 이용해 마지막 두 인코더 블록만 미세조정한다. 이렇게 하면 B 가 저차원 잠재 변수 z 를 통해 G(z) 라는 형태로 표현되며, G 의 출력은 실제 회화의 질감·구조를 보존하는 고품질 이미지가 된다. 생성 사전을 사용함으로써 B 가 현실적인 이미지 매니폴드에 제한돼, 균열과 배경을 구분하는 데 필요한 정규화 효과가 자연스럽게 제공된다.

균열 사전은 Mumford‑Shah 함수의 연속적 완화인 Ambrosio‑Tortorelli(AT) 모델을 기반으로 한다. AT는 이진 에지 지표 v(x)∈