창의적 이미지 생성을 위한 확산 모델 기반 저확률 탐색 프레임워크

초록

본 논문은 텍스트‑투‑이미지 확산 모델에서 이미지 임베딩의 저확률 영역을 목표로 삼아 창의성을 정량화하고, 풀백 메커니즘과 방향성 제어를 결합해 고품질·고창의성 이미지를 효율적으로 생성하는 새로운 방법론을 제시한다.

상세 분석

이 연구는 창의성을 “CLIP 임베딩 공간에서 이미지 존재 확률의 역수”로 정의하고, 이를 정량적 손실 함수로 구현한다는 점에서 기존의 개념 블렌딩이나 서브카테고리 배제 방식과 근본적으로 차별화된다. 먼저, 확산 사전( diffusion prior )이 생성한 이미지 임베딩 e를 대규모 샘플링하고 PCA로 차원 축소한 뒤, 다변량 가우시안 ˆG(·)를 피팅한다. 이때 ˆG의 로그 가능도 log ˆG(ẽ) 를 최소화하는 것이 창의적 손실 L₍creative₎이며, 이는 임베딩을 분포의 꼬리(저확률 영역)로 이동시키는 역할을 한다.

핵심 기술은 세 가지 보완 메커니즘이다. ① Anchor loss은 생성된 임베딩과 긍정 프롬프트(P₍pos₎) 텍스트 임베딩 사이의 코사인 유사도를 1‑⟨e,ϕ(P₍pos₎)⟩/‖e‖‖ϕ(P₍pos₎)‖ 로 정의해 의미적 일관성을 유지한다. ② 멀티모달 LLM(Multi‑Modal Large Language Model) 검증 단계에서는 “이것이 여전히 {subject}인가?” 라는 질문을 통해 이미지가 개념을 벗어나면 최적화를 중단한다. 이는 인간 피드백을 자동화한 형태로, 단순한 정규화 손실만으로는 잡히지 않는 도메인 외 오류를 효과적으로 차단한다. ③ Directionality control은 부정 클러스터(negative cluster)를 모델링한다. 특정 토큰이 일관되게 비호감 결과를 낼 경우, 해당 임베딩들을 수집해 또 다른 가우시안 ˆG₍neg₎를 만든 뒤, L₍neg₎ = −α log ˆG₍neg₎(ẽ) 를 손실에 추가한다. 이렇게 하면 모델이 이미 알려진 “불쾌” 영역을 회피하고 새로운 창의적 방향을 탐색한다.

또한, 토큰 임베딩과 LoRA(저차원 적응) 파라미터를 동시에 최적화함으로써 개념 공간을 확장한다. 토큰은 “” 형태로 교체 가능하고, LoRA는 A·B 행렬을 통해 사전의 가중치를 미세 조정한다. 이 복합 파라미터 공간은 기존 텍스트‑투‑이미지 파이프라인에 최소한의 침투만으로도 큰 창의성 변화를 일으킨다.

실험에서는 Kandinsky 2.1을 기반으로 50k 이상의 임베딩을 샘플링하고, 저확률 탐색 전후의 이미지 품질·창의성 지표를 비교한다. FID·IS와 같은 전통적 품질 지표는 약간 악화될 수 있으나, 인간 평가와 “Arousal Potential”(−log P) 점수는 현저히 상승한다. 특히 풀백 메커니즘이 없을 경우 의미 손실이 급격히 발생하지만, Anchor loss와 MLLM 체크가 결합되면 시맨틱 일관성을 95% 이상 유지한다는 결과가 보고된다.

이 논문의 주요 공헌은 (1) 창의성을 확률론적 관점에서 정의하고, 저확률 영역을 직접 최적화하는 프레임워크를 제시한 점, (2) 의미 보존을 위한 두 단계 풀백 메커니즘을 설계한 점, (3) 부정 클러스터 기반 방향성 제어를 도입해 창의적 탐색의 효율성을 높인 점이다. 이러한 접근은 향후 텍스트‑투‑이미지 모델을 넘어, 비디오·3D 모델링 등 고차원 생성 모델에서도 저확률 탐색을 통한 창의성 증진에 적용 가능할 것으로 기대된다.