워터마킹은 오랫동안 컴퓨터 비전에서 디지털 콘텐츠 보호를 위한 핵심 기술로 사용되어 왔습니다. AI 생성 미디어의 부상으로 워터마킹의 중요성이 크게 증가했으며, 이는 무단 배포와 악용에 대한 위험성 때문입니다. 그러나 컴퓨터 비전에서 다양한 현대 생성 모델 패러다임을 고려한 일반적인 목적 워터마킹 방법 설계는 여전히 큰 도전과제입니다. 주요 어려움은 디퓨전 기반 프레임워크부터 자동회귀(AR) 모델까지 다양한 현대 생성 모델 패러다임에 대한 고려 사항이 다르다는 점에서 발생합니다.

전통적인 접근법에서는 서명을 이미지의 주파수 계수에 삽입합니다. 이러한 방법은 넓게 적용될 수 있지만, 일반적인 이미지 변환에 대해 제한된 견고성을 가지고 있습니다. 최근에는 신경망 기반 접근 방식이 연구되었습니다. 이는 생성 모델의 매개변수를 미세 조정하여 워터마크가 포함된 출력을 합성하거나 별도의 신경망을 훈련시켜 워터마크 삽입 및 검출에 사용합니다. 세심한 데이터 증강을 통해 이러한 방법은 상당한 견고성을 달성하고 높은 인식적 품질을 유지할 수 있습니다. 그러나 신경망의 블랙박스 특성으로 인해 검출 신뢰도에 대한 이론적인 보장이 없습니다——사용자는 검출 실패 시나 왜 실패하는지, 그리고 그러한 실패 가능성의 확률을 엄밀하게 평가할 수 없습니다. 다른 연구에서는 통계적으로 인증된 접근 방식을 제안하여 검출에 대한 형식적인 통계적 보장을 제공합니다. 그러나 이러한 방법은 일반적으로 특정 생성 패러다임에 맞게 조정되어 있으며, 실험 결과에 따르면 이미지 품질 저하를 초래합니다.

이 논문에서는 Luminark라는 새로운 접근 방식을 소개하며, 이는 (i) 검출에 대한 강력한 통계적 보장을 제공하고, (ii) 생성 품질에서 이전의 통계적으로 인증된 방법보다 크게 우수하며, (iii) 다양한 이미지 변환에 대해 견고성을 유지하고, (iv) 다양한 생성 패러다임에 적용 가능한 학습이 필요 없는 플러그 앤 플레이 방식을 제공합니다.

우리의 첫 번째 기여는 이미지 보호를 위한 새로운 워터마크입니다. 이미지를 패치로 분할하고 각 패치의 명도 값을 계산합니다. 워터마크는 이러한 명도 값에 대한 이진 패턴으로 정의됩니다—즉, 각 패치의 명도가 특정 임계값을 초과하는지 여부입니다. 우리는 수학적으로 증명할 수 있습니다: 만약 이진 패턴과 임계값이 무작위로 선택되면, 워터마크가 없는 이미지(예: 자연 이미지)가 패턴과 일치할 확률은 패치의 개수에 대해 지수적으로 감소하므로 신뢰할 수 있는 검출이 가능합니다. 또한, 검출이 단순히 패치 레벨 통계에만 의존하기 때문에 일반적인 이미지 변환(예: 흐리게 하기, 양자화, 압축)에 대해 견고성을 유지할 수 있습니다.

서비스 제공자의 관점에서 보면 Luminark의 검출은 간단하지만, 사전 정의된 패턴을 삽입하고 높은 품질 생성을 유지하는 것은 상당히 어렵습니다. 우리의 두 번째 기여는 다양한 생성 패러다임에 적용할 수 있는 학습이 필요 없는 삽입 알고리즘 설계입니다. 이 접근 방식의 핵심 통찰력은 최근의 모든 생성 패러다임이 공통적인 메커니즘을 공유한다는 것입니다—즉, 유도 기법입니다. 유도는 확산 모델과 자동회귀 비전 모델에서 출력 품질을 개선하는 데 사용되는 표준 도구이며, 이는 생성 프로세스를 원하는 결과로 유도합니다. 우리는 이러한 메커니즘을 워터마크 삽입의 출발점으로 활용하고 워터마크 유도를 소개하며 각 생성 단계가 사전 정의된 패턴과 일치하도록 안내합니다. 이는 워터마크가 학습이 필요 없는 플러그 앤 플레이 방식으로 생성 프로세스에 부드럽게 삽입되며, 동시에 이미지 품질을 유지하기 위해 내용을 부드럽게 조정할 수 있도록 합니다.

우리는 Luminark의 효과를 평가하기 위해 광범위한 실험을 수행했습니다. 구체적으로, 우리는 확산 모델, 자동회귀 모델 및 하이브리드 솔루션(EDM2, Stable Diffusion, VAR, MAR 포함)에 Luminark를 테스트하였습니다. 이들 모델은 몇 백만에서 수십억 개의 매개변수 규모를 가질 수 있으며 다양한 신경망 아키텍처와 출력 해상도(256×256, 512×512 및 768×768), 그리고 응용 분야(기본 클래스 조건부 이미지 생성과 텍스트-이미지 생성)를 포함합니다. 실험 결과는 Luminark가 이전의 통계적으로 인증된 베이스라인보다 크게 우수하며, 동시에 일반적인 이미지 변환에 대해 높은 검출률을 달성함을 보여줍니다. 이러한 결과는 Luminark를 비전 생성 모델을 위한 실용적이고 일반적인 목적 워터마킹 알고리즘으로 확립합니다.

관련 연구

비전 분야의 기존 워터마킹 접근법은 크게 세 가지 다른 라인으로 나눌 수 있습니다: 전통적인 사후 워터마킹, 신경망 기반 워터마킹 및 통계적으로 인증된 워터마킹.

전통적인 사후 워터마킹은 이미지에 후속적으로 워터마크를 삽입하는 초기 접근법을 지칭합니다. 이들 방법은 일반적으로 이미지를 주파수 도메인으로 변환하고 특정 주파수 계수를 조정하여 서명을 인코딩함으로써 시각적 흔적이 없도록 합니다. 그러나 이러한 접근법은 이미지 품질 유지와 견고성 달성 사이에 중요한 상충 관계가 있습니다. 낮은 주파수 계수를 수정하면 일반적으로 이미지 품질이 눈에 띄게 저하되며, 높은 주파수 계수를 수정하면 검출이 국소적인 변동에 취약해집니다.

신경망 기반 워터마킹: 이러한 접근법은 보통 신경망을 훈련시켜 쿼리 이미지가 워터마크를 포함하는지 결정하도록 합니다. 워터마크 삽입과 관련하여, 현재의 전략은 일반적으로 세 가지 패러다임을 따릅니다: 일부 방법은 생성 모델 자체를 미세 조정하여 직접 워터마크가 포함된 콘텐츠를 합성하도록 합니다; 다른 방법은 모델 매개변수를 수정하지 않고 생성 중에 워터마크를 융합하는 여러 기술을 사용합니다. 세 번째로, 별도의 신경망을 사후 워터마크 삽입기로 훈련시킵니다. 세심한 데이터 증강을 통해 이러한 방법은 강력한 인식적 품질을 달성하고 일반적인 이미지 왜곡에 대해 검출 견고성을 유지할 수 있습니다. 그러나 이러한 모델의 본질적으로 블랙박스 특성으로 인해 사용자는 검출 실패 시나 왜 실패하는지, 그리고 그러한 실패 가능성의 신뢰성을 엄밀하게 평가할 수 없습니다.

통계적으로 인증된 워터마킹: 이 방법은 생성 프로세스에 선택된 임의의 변동을 삽입하여 결과 출력 분포에서 통계적으로 검사 가능한 신호를 구현합니다. 검출은 가설 검정으로 해석되며, 샘플이 편향된(워터마크가 포함된) 분포에서 유래되었는지 원래 분포에서 유래되었는지를 확인합니다. 이 자체는 일반적으로 생성 패러다임에 맞게 조정됩니다: 확산 모델은 복원된 노이즈의 구조화된 패턴을 테스트하고, 자동회귀 모델은 토큰 통계의 분포 변화를 테스트합니다. 결과적으로 서로 다른 아키텍처는 서로 다른 변동과 그에 따른 통계적 검사를 요구합니다. 이 영역에서 선구적인 연구는 Tree-Ring 워터마크입니다. 이것은 확산 모델의 초기 노이즈 벡터에 패턴을 삽입합니다. 검출은 생성 프로세스를 역으로 수행하여(역 ODE 솔버를 통해) 노이즈를 복원하고 이가 내장된 패턴과 일치하는지 확인함으로써 이루어집니다. 이후 연구는 고급 설계로 이러한 개념을 개선하였습니다. 최근에는 자동회귀 모델용 통계적으로 인증된 방법도 제안되었습니다. 그러나 이러한 방법은 특정 생성 패러다임에 매우 밀착되어 있으며, 이 아키텍처 종속성으로 인해 그들의 보편성이 한정되고 시각적 정확도는 신경망 기반 워터마킹 접근 방식보다 현저히 낮습니다.

명도 제약 조건을 통한 워터마킹

워터마크 정의

본 연구에서는 일반적인 이미지 생성에 대한 새로운 워터마킹 메커니즘을 탐구합니다. 컴퓨터 비전에서 명도는 픽셀의 밝기로, RGB 값으로부터 파생됩니다. 이는 사람 눈이 컬러 이미지를 보았을 때 인식하는 그레이스케일 강도를 나타냅니다.

수학적으로 우리는 크기가 $`H\times W`$인 이미지 $`\mathbf{x}`$를 크기 $`k\times k`$의 겹치지 않는 패치로 분할하여 $`\mathbf{x}=\{\mathbf{p}_1, \mathbf{p}_2,\dots, \mathbf{p}_N\}`$, 여기서 $`\mathbf{p}_1`$은 왼쪽 상단의 패치를 나타내고 $`\mathbf{p}_N`$은 오른쪽 하단의 패치를 나타냅니다. 패치의 총 개수는 $`\frac{H\times W}{k^2}`$. 각 패치 $`\mathbf{p}_i`$에 대해, 우리는 R, G 및 B 채널에서 (0,1)로 정규화된 평균 픽셀 값을 계산합니다. 이는 $`(\overline{R}_i,\overline{G}_i,\overline{B}_i)`$. 패치의 명도는 다음과 같이 정의됩니다:

\begin{equation}
l(\mathbf{p}_i) = 0.299\cdot\overline{R}_i + 0.587\cdot\overline{G}_i + 0.114\cdot\overline{B}_i.
\label{eq:luminance}
\end{equation}

우리는 $`\mathbf{x}`$의 명도를 벡터 $`\mathbf{L}(\mathbf{x})=(l(\mathbf{p}_1), l(\mathbf{p}_2), \dots, l(\mathbf{p}_N))`$로 표시합니다. 혼동을 피하기 위해 생성된 이미지와 실제 이미지를 각각 $`\mathbf{x}_{\text{gen}}`$과 $`\mathbf{x}_{\text{real}}`$로 나타냅니다.

우리의 목표는 $`\mathbf{x}_{\text{gen}}`$의 생성 과정에 특정 패턴(즉, 서명)을 삽입하여 그 명도 $`\mathbf{L}(\mathbf{x}_{\text{gen}})`$가 실제 이미지 $`\mathbf{x}_{\text{real}}`$의 명도와 통계적으로 구별되게 하여 워터마크 검출이 가능하도록 하는 것입니다. 이러한 통계적 차이를 구성하기 위해, 우리는 이진 패턴 $`\mathbf{c}=(c_1,c_2,\dots,c_N)\in \{-1,1\}^N`$과 실수값 임계 벡터 $`\boldsymbol{\tau}=(\tau_1, \tau_2,\dots,\tau_N)\in (0,1)^N`$를 정의합니다. $`\mathbf{c}`$와 $`\boldsymbol{\tau}`$의 값은 의사 난수 생성기로 무작위로 생성되며 서비스 제공자에 의해 고정되고 웹 사용자에게는 공개되지 않습니다.

실수값 벡터 $`\boldsymbol{\tau}`$는 명도 “레벨"에 접근하는 데 사용됩니다. 각 패치 $`i`$에 대해 우리는 형태의 결정 나무 $`\operatorname{sgn}[l(\mathbf{p}_i)-\tau_i]`$를 계산합니다. 이는 패치의 명도가 $`\tau_i`$를 초과하는지 여부를 평가합니다. 부호 함수 $`\operatorname{sgn}(.)`$는 실수의 부호를 반환하며, 음수 입력은 -1을 출력하고 비음수 입력은 +1을 출력합니다. 모든 패치에 이를 적용하여 $`\mathbf{x}`$의 이진 패턴을 얻습니다:

\begin{equation*}
\mathbf{o}(\mathbf{x})=(\operatorname{sgn}[l(\mathbf{p}_1)-\tau_1],\cdots,\operatorname{sgn}[l(\mathbf{p}_N)-\tau_N])\in \{-1,1\}^N.
\end{equation*}

검출은 이미지의 이진 패턴 $`\mathbf{o}(\mathbf{x})`$와 사전 정의된 $`\mathbf{c}`$ 사이의 유사성을 비교하여 수행됩니다. 직관적으로, 만약 $`\mathbf{c}`$와 $`\boldsymbol{\tau}`$가 무작위로 선택되어 서비스 제공자만이 알고 있다면 자연 이미지는 우연히 패턴과 일치할 가능성이 낮습니다. 따라서 이미지 패턴 $`\mathbf{o}(\mathbf{x})`$가 충분히 $`\mathbf{c}`$와 다르다면, 이미지 $`\mathbf{x}`$는 워터마크가 없는 것으로 식별됩니다. 통계적 분석과 더 엄밀한 검출 알고리즘은 섹션 3.2에서 제시됩니다.

완성성을 위해 우리는 워터마크 $`\mathcal{W}=(\mathbf{c}, \boldsymbol{\tau})`$를 표기합니다. 이 접근법은 몇 가지 주요 장점을 제공합니다. 첫째, 가장 눈에 띄는 점은 워터마크가 각 패치의 평균 명도를 기반으로 작동하므로 픽셀 수준 패턴을 삽입하는 것이 아니라 사람에게 인식되지 않는다는 것입니다. 또한 패치 레벨 평균 명도를 서명으로 사용하면 일반적으로 연구된 여러 이미지 조작에 대해 내재적인 견고성을 제공합니다. 평균 계산은 저주파 필터 역할을 하므로 무작위 변동, 예를 들어 추가된 노이즈나 경미한 압축에서 발생하는 아트팩트에도 불구하고 워터마크의 정확성을 유지할 수 있습니다.

통계적으로 인증된 워터마크 검출

워터마크 검출의 목적은 특정 사전 정의된 워터마크가 삽입되었는지 확인하는 것입니다. 우리는 첫 번째로 우리의 테스트를 위한 핵심 지표를 정의합니다. 이미지 $`\mathbf{x}`$와 워터마크 $`\mathcal{W}=(\mathbf{c}, \boldsymbol{\tau})`$, 이미지는 $`N`$개의 패치 $`\{\mathbf{p}_i\}_{i=1}^N`$으로 분할됩니다. 일치율 $`m(\mathbf{x}, \mathcal{W})`$을, 워터마크의 이진 패턴 $`\mathbf{c}`$와 일치하는 패치 수의 비율로 정의합니다:

\begin{equation}
    m(\mathbf{x}, \mathcal{W})=\frac1N\sum_{i=1}^N\mathbb{I}[\operatorname{sgn}(l(\mathbf{p}_i)-\tau_i)=c_i]
\end{equation}

여기서 $`\mathbb{I}[\cdot]`$는 지시 함수입니다.

다음으로, 워터마크가 무작위로 선택되었을 때 워터마크가 없는 이미지의 일치율이 높은 확률로 잘 조절될 수 있다는 것을 보여줍니다.

📊 논문 시각자료 (Figures)

감사의 말씀