대조 확산 정렬: 구조화된 잠재공간으로 제어 가능한 생성

초록

ConDA는 사전 학습된 확산 모델의 고차원 잠재를 보조 변수(시간, 자극 파라미터 등)를 이용해 대조 학습으로 저차원 임베딩에 정렬한다. 이 임베딩에서 비선형 궤적을 적용해 부드러운 보간·외삽·반사실 편집이 가능하고, kNN 디코더를 통해 원래 확산 잠재로 복원한다. 다양한 물리·생물·영상 데이터에서 기존 선형·조건 기반 방법보다 해석 가능하고 제어가 용이함을 보였다.

상세 분석

본 논문은 확산 모델이 제공하는 높은 생성 품질에도 불구하고, 잠재공간이 고차원이며 시간·조건 등 동적 변수와 정렬되지 않아 제어가 어려운 점을 지적한다. 이를 해결하기 위해 제안된 ConDA(Contrastive Diffusion Alignment)는 두 단계의 잠재공간을 도입한다. 첫 번째는 기존 확산 모델이 학습한 고차원 피처 잠재 Z이며, 이는 DDIM·Rex‑RK4와 같은 역전파 기법을 통해 입력 시퀀스를 정확히 복원한다. 두 번째는 대조 학습을 통해 Z와 보조 변수 Y를 함께 매핑한 저차원 임베딩 C이다. 여기서 대조 손실은 같은 시간·조건을 가진 샘플을 가깝게, 다른 조건을 가진 샘플을 멀리 배치하도록 설계돼, C의 로컬 기하가 동적 변수와 일치하도록 강제한다.

임베딩 C는 차원이 5~10 수준으로 매우 컴팩트해, 스플라인, 유한 차분, LSTM 등 비선형 연산을 적용하기에 효율적이며, 이러한 연산이 시간·조건에 따라 부드러운 궤적을 생성한다. 편집된 궤적은 kNN 디코더 ℓ를 통해 주변의 원본 임베딩과 가중 평균을 취해 Z로 복원한다. 이 과정은 로컬 구조를 보존하므로, 복원된 Z를 확산 디코더 fθ에 입력하면 원본 이미지와 동일한 고품질을 유지한다.

실험에서는 유체 흐름 시뮬레이션, 신경칼슘 영상, 치료용 전기 자극, 얼굴 표정 시퀀스, 원숭이 운동 피질 기록 등 다섯 분야에 걸쳐 ConDA를 적용했다. 모든 도메인에서 ConDA는 (1) 재구성 PSNR을 30% 이상 향상, (2) 보간 시 흐림이나 비현실적 전이 감소, (3) 조건 전이(예: 자극 코일 각도 변화)에서 일관된 방향성을 제공함을 확인했다. 특히 선형 보간이나 ControlNet·InstructPix2Pix와 같은 조건 기반 방법은 시간에 따라 방향이 뒤섞이거나 잡음이 증가하는 반면, ConDA는 대조 학습으로 얻은 정렬된 축을 따라 움직이므로 해석 가능하고 직관적인 편집이 가능했다.

또한, 역전파 솔버 선택에 대한 민감도 실험에서 DDIM, Rex‑RK4 모두에서 유사한 성능을 보였으며, kNN 디코더 대신 작은 MLP를 학습시켜도 큰 차이가 없었다. 이는 ConDA가 잠재 구조 자체를 정렬함으로써 모델‑특정 구현에 크게 의존하지 않음을 의미한다. 한계점으로는 보조 변수의 라벨 품질에 따라 대조 손실이 약화될 수 있고, 매우 복잡한 비선형 동역학(예: 혼돈 현상)에서는 저차원 임베딩이 충분히 표현력을 갖추지 못할 가능성이 있다. 향후 연구에서는 자기지도식 대조 손실과 동적 시스템 모델링을 결합해 라벨이 없는 경우에도 구조화된 잠재를 학습하는 방향을 제시한다.