확산 모델의 기억화 탐지와 완화를 위한 로그 확률 이방성 활용

초록

본 논문은 확산 이미지 생성 모델에서 발생하는 기억화 현상을 고전적인 점수 차이 노름 기반 방법이 한계가 되는 저노이즈(이방성) 영역에서, 조건부와 무조건부 점수 사이의 각도 정렬을 이용해 새로운 탐지 지표를 제안한다. 두 번의 순방향 패스로 순수 노이즈에서 바로 계산 가능하며, 기존 방법 대비 5배 이상 빠르고 정확도가 향상된다. 또한 제안 지표를 활용한 프롬프트 변형 전략으로 기억화를 효과적으로 완화한다.

상세 분석

이 논문은 확산 모델의 로그‑확률(log‑probability) 분포가 노이즈 레벨에 따라 등방성(isotropic) 과 이방성(anisotropic) 로 전이한다는 물리적 관찰에서 출발한다. 고·중간 노이즈 단계에서는 로그‑확률이 거의 구형(등방성) 형태를 띠어, 점수 함수의 노름 ‖∇ log p‖이 전체 곡률(trace of Hessian)과 거의 일치한다. 따라서 기존 연구에서 제안한 “조건부‑무조건부 점수 차이 ‖s_Δ‖”는 기억화된 샘플이 가진 높은 곡률을 잘 포착한다. 그러나 저노이즈 단계에서는 데이터 매니폴드에 가까워지면서 로그‑확률이 데이터‑특정 방향으로 급격히 변한다(이방성). 이때는 곡률이 방향에 따라 크게 달라지므로, 단순 노름은 정보를 잃고 탐지 성능이 급격히 떨어진다.

논문은 이러한 이방성 영역에서 조건부 점수와 무조건부 점수 사이의 각도 정렬(cosine similarity) 가 기억화 신호를 드러낸다는 핵심 가설을 실험적으로 입증한다. 기억화된 프롬프트는 강한 텍스트‑드리븐 가이던스(조건부‑무조건부 차이)와 동시에, 저노이즈 단계에서 가이드 벡터와 무조건부 점수가 거의 동일한 방향을 가리킨다. 이는 모델이 특정 훈련 이미지에 대해 매우 좁은 방향으로 확률을 집중시켜, 가이드가 그 방향을 따라가면 바로 기억된 이미지가 재생성되기 때문이다.

이를 정량화하기 위해 저자는 두 가지 요소를 결합한 복합 탐지 지표 M를 정의한다.

1. Isotropic term : 고·중간 노이즈 단계(t_high)에서 ‖s_Δ‖ 의 노름, 즉 전체 곡률을 측정.
2. Anisotropic term : 저노이즈 단계(t_low)에서 가이드 벡터 g = s_θ(x_t, c) − s_θ(x_t, ∅)와 무조건부 점수 s_θ(x_t, ∅) 사이의 코사인 유사도 cos(g, s_θ).

M = α·‖s_Δ‖{t_high} + β·cos(g, s_θ){t_low} 로 가중합을 취하며, α,β는 검증을 통해 튜닝한다. 중요한 점은 두 번의 순방향 패스(조건부·무조건부)만으로 t_high와 t_low에서 각각의 점수를 얻을 수 있다는 점이다. 따라서 전통적인 “전체 디노이징 트래젝터리”를 시뮬레이션할 필요가 없으며, 연산 비용이 크게 감소한다.

실험에서는 Stable Diffusion v1.4와 v2.0을 대상으로 MemBench 데이터셋을 이용해 기존 디노이징‑프리 메트릭(예: WEN‑2024, JEON‑2025)과 비교하였다. 복합 지표는 AUC·AP 모두에서 4~7% 향상을 보였으며, 실행 시간은 평균 5배 이상 단축되었다.

완화 전략은 탐지 지표가 높은 프롬프트에 대해 프롬프트 어그멘테이션을 적용한다. 구체적으로, 가이드 강도를 감소시키거나, 텍스트 임베딩에 작은 노이즈를 추가해 가이드 벡터를 회전시킨다. 이렇게 변형된 프롬프트는 동일한 텍스트 의미를 유지하면서도 모델이 기억된 방향으로 수렴하는 것을 방지한다. 결과적으로 생성된 이미지의 텍스트‑이미지 정합도와 미적 품질은 유지하면서, 원본 훈련 이미지와의 유사도는 크게 감소한다.

이 논문의 주요 기여는 다음과 같다.

• 로그‑확률의 등방성·이방성 전이를 정량적으로 분석하고, 이방성에서의 기억화 신호를 각도 정렬로 규명.
• 두 단계의 점수를 결합한 새로운 디노이징‑프리 탐지 지표를 제안, 기존 방법 대비 정확도·속도 모두 개선.
• 탐지 지표를 기반으로 한 프롬프트 변형을 통해 실시간 기억화 완화 메커니즘을 구현.

전반적으로 이 연구는 확산 모델의 고차원 확률 구조를 활용해 실용적인 기억화 방지 도구를 제공함으로써, 모델 배포 시 개인정보 보호와 저작권 문제를 완화하는 데 큰 의미를 가진다.