흐름 매칭을 활용한 분리된 표현 학습

초록

본 논문은 흐름 매칭(Flow Matching) 기반의 새로운 프레임워크를 제안한다. 인코더가 추출한 N개의 요인 임베딩을 조건으로 사용해 잠재 공간에서 요인별로 비중첩(orthogonal)인 벡터 필드를 학습하고, 이를 통해 각 요인이 데이터 생성 과정에서 독립적으로 작용하도록 한다. 비중첩 정규화와 교차‑어텐션을 결합해 요인 간 정보 누수를 억제하고, 실험적으로 기존 확산·VAE·GAN 기반 방법보다 DCI·FactorVAE 등 표준 지표에서 우수한 성능을 보인다.

상세 분석

이 연구는 기존 확산 모델이 확률적 노이즈 스케줄에 의존하고, 요인 독립성을 강제하기 위해서는 간접적인 정규화만 적용할 수 있다는 한계를 지적한다. 흐름 매칭은 확률 질량을 연속적인 시간‑의존 벡터 필드 vₜ 로 직접 이동시키는 결정론적 ODE 기반 접근법으로, 샘플링 시 고정된 경로를 따라가며 효율적인 역전파와 정확한 확률 변환을 제공한다. 논문은 이러한 흐름 매칭을 “조건부 흐름 매칭(Conditional Flow Matching, CFM)” 형태로 확장해, 이미지 인코더가 출력한 요인 집합 Sγ(I) 를 교차‑어텐션을 통해 U‑Net 기반 벡터 필드 네트워크에 주입한다. 교차‑어텐션은 각 레이어에서 쿼리를 공간 특징으로, 키·값을 요인 임베딩으로 설정해, 요인별 정보가 필요한 시점에 정확히 전달되도록 설계되었다.

핵심 기여는 두 가지이다. 첫째, 전체 벡터 필드를 N개의 요인‑특화 서브필드 vₜ⁽ⁱ⁾ 로 분해하고, 각 서브필드가 서로 직교하도록 하는 비중첩 정규화 ℒₒᵣₜ = Σᵢ≠ⱼ‖⟨vₜ⁽ⁱ⁾, vₜ⁽ʲ⁾⟩‖² 를 도입한다. 이는 요인 간 중복 기여를 억제하고, “정보 누수”를 최소화해 각 잠재 차원이 실제 의미론적 요인과 1:1 매핑되도록 만든다. 둘째, 선형 브릿지 xₜ = (1‑t)z₀ + t z₁ 를 사용해 목표 속도 uₜ = z₁‑z₀ 를 명시적으로 정의하고, 이를 CFM 손실 ℒ_FM = E‖vθ(xₜ, Sγ(I), t)‑uₜ‖² 와 결합한다. 이렇게 하면 전체 흐름은 데이터 분포에 정확히 맞춰지면서, 각 요인별 서브필드는 독립적인 방향성을 학습한다.

실험에서는 MPI3D‑Toy, dSprites, Shapes3D 등 표준 disentanglement 벤치마크와 CelebA‑HQ 같은 고해상도 데이터셋을 사용했다. 정량적 지표인 DCI, MIG, SAP, FactorVAE‑score 에서 모두 기존 확산 기반 방법(예: Diffusion‑VAE, Factor‑Diffusion)과 VAE·GAN 기반 베이스라인을 크게 앞섰으며, 특히 비중첩 정규화가 없는 버전과 비교했을 때 요인 간 상관계수가 현저히 감소했다. 정성적으로는 요인별 조작이 직관적이며, ODE 기반 샘플링 덕분에 고품질 이미지와 빠른 추론 속도를 동시에 달성했다.

이 논문은 흐름 매칭을 통해 “확정적·기하학적” 구조를 활용함으로써, 확산 모델이 갖는 확률적 불확실성과 복잡한 노이즈 스케줄 설계 문제를 회피하고, 요인‑조건부 흐름을 통해 의미론적 정렬을 강제한다는 점에서 중요한 전진을 이룬다. 향후 연구는 더 복잡한 요인 구조(예: 계층적·연속적 요인)와 비선형 브릿지 설계, 그리고 대규모 비지도 학습에의 확장 가능성을 탐색할 여지가 있다.