확신 기반 필터링으로 드리프트 모델 잠재 구조 탐색

초록

본 논문은 확산 모델의 초기 노이즈 시드가 생성 샘플의 클래스와 어떤 관계가 있는지를 조사한다. 전체 시드를 모두 고려하면 잠재 공간은 무작위처럼 보이지만, 사전 학습된 분류기의 신뢰도(Confidence) 점수가 높은 시드만을 추출하면 클래스별 구분이 뚜렷하게 나타난다. 저자는 이러한 현상을 정량화하고, 고신뢰 시드에 대해 라벨 예측 모델을 학습함으로써 높은 정확도를 달성한다. 또한, 고신뢰 시드의 잠재 공간이 선형 판별 분석(LDA)과 UMAP 시각화에서 명확한 클래스 구조를 보이는 것을 확인한다. 마지막으로, 사전 학습된 확산 모델을 수정하지 않고도 고신뢰 시드만 선택해 조건부 생성(Conditional Generation)을 수행하는 방법을 제안한다.

상세 분석

이 연구는 확산 모델, 특히 DDIM의 결정론적 특성을 활용해 초기 노이즈 시드와 최종 이미지 사이의 일대일 대응 관계를 전제로 한다. 저자는 두 가지 핵심 질문을 제시한다. 첫째, 시드만으로 생성물의 클래스 라벨을 예측할 수 있는가? 둘째, 라벨 예측 가능성이 잠재 공간의 구조적 특성과 연관되는가? 이를 검증하기 위해 사전 학습된 이미지 분류기의 출력 로그잇을 이용해 각 시드에 ‘라벨’과 ‘신뢰도’를 정의한다. 신뢰도가 낮은 시드는 클래스 경계 근처에 위치할 가능성이 높아, 역확산 과정에서 점수 함수(∇log p_t)의 발산이나 흐름의 비유일성 문제를 야기한다. 반면, 신뢰도가 높은 시드는 데이터 분포의 고밀도 영역에 대응하므로 흐름이 안정적이며, 라벨 정보가 잠재 공간에 보다 명확히 보존된다.

실험에서는 시드를 신뢰도 구간별로 나누어 동일한 구간 내에서 라벨 예측 모델 g_ℓ을 학습하고, 다른 구간의 테스트 데이터에 적용한다. 결과는 고신뢰 구간에서만 높은 교차 구간 정확도가 관찰되며, 저신뢰 구간에서는 거의 무작위 수준에 머문다. 이는 라벨 정보가 고신뢰 시드에 국한되어 잠재 공간에 구조적으로 인코딩된다는 강력한 증거이다.

잠재 구조 시각화는 LDA를 통해 클래스 간 분산을 최대화하는 선형 투영을 수행한 뒤, UMAP으로 2차원에 압축한다. 고신뢰 시드 집합은 LDA‑UMAP 평면에서 명확히 구분된 클러스터를 형성하지만, 저신뢰 시드에서는 클러스터가 섞여 구조가 사라진다. 직접 UMAP을 적용한 경우는 모든 구간에서 구분이 불가능해, LDA가 잠재 공간에 내재된 선형 구분 가능성을 드러내는 중요한 전처리 단계임을 확인한다.

조건부 생성 측면에서 저자는 ‘신뢰도 기반 필터링’ 방식을 제안한다. 사전 학습된 분류기로 고신뢰·목표 클래스 시드를 선별하고, 해당 시드만을 DDIM에 입력하면 원하는 클래스의 샘플을 얻을 수 있다. 이 방법은 기존의 Classifier Guidance나 Classifier‑Free Guidance와 달리 확산 모델 자체를 수정하거나 추가 손실을 학습할 필요가 없으며, 모델을 블랙박스로 취급한다. 다만, 고신뢰 시드의 비율이 낮을 경우 샘플링 효율이 떨어지고, 복잡한 데이터셋에서는 신뢰도 임계값 설정이 어려워질 수 있다.

이 논문의 주요 기여는 (1) 초기 노이즈 시드가 클래스 정보를 내포하고 있음을 신뢰도 기반 필터링을 통해 실증하고, (2) 고신뢰 시드에서만 잠재 공간에 의미 있는 클래스 구조가 존재함을 시각적·정량적으로 입증했으며, (3) 이를 활용한 새로운 조건부 생성 프레임워크를 제시했다는 점이다. 향후 연구에서는 고신뢰 시드의 비율을 높이는 사전 학습 전략, 다중 클래스·다중 모달 데이터에 대한 일반화, 그리고 신뢰도와 흐름 안정성 사이의 이론적 연결 고리를 밝히는 것이 과제로 남는다.