하푼: 조건부 테이블 확산을 위한 일반화된 다양체 가이드

초록

본 논문은 표 형식 데이터에 대한 조건부 생성 문제를 해결하기 위해, 확산 모델이 학습 과정에서 암묵적으로 학습하는 데이터 다양체를 이용한 새로운 가이드 기법을 제안한다. 제안된 HARPOON은 훈련 한 번만으로도 임의의 연속·불연속 제약(예: 결측값 보완, 부등식 조건)을 추론 단계에서 적용할 수 있으며, 이론적으로는 모든 미분 가능한 손실의 그래디언트가 다양체의 접공간에 속함을 증명한다. 실험 결과, 다양한 공개 데이터셋에서 기존 방법들을 크게 앞서는 성능을 보인다.

상세 분석

HARPOON 논문은 크게 네 가지 핵심 기여로 구성된다. 첫째, 표 형식 데이터가 연속형과 범주형 변수를 혼합한 고차원 공간에 존재한다는 점을 전제로, 이러한 데이터가 매끄러운 저차원 다양체 M₀ 에 매핑된다고 가정한다. 기존 이미지 확산 연구는 연속형 픽셀에 한정된 평탄한 다양체를 전제로 했지만, 저자는 “연속적 임베딩(soft one‑hot)”을 통해 범주형 변수를 연속 공간에 투사함으로써 동일한 가정을 적용한다.

둘째, 정규화된 MSE 손실로 훈련된 확산 모델이 노이즈가 큰 단계(t→T)에서는 입력 xₜ 를 데이터 다양체에 대한 직교 투영 π(xₜ) 으로 매핑한다는 정리를 제시한다(정리 3.1). 이는 기존 연구가 전제한 전역 평탄성 가정을 완화하고, 오직 ᾱₜ → 1 (즉, 노이즈가 거의 사라지는 시점)에서만 성립한다는 점을 강조한다.

셋째, 가장 중요한 정리 3.2는 임의의 미분 가능한 추론 손실 L_inf에 대해 그 그래디언트가 항상 다양체의 접공간 Tₓ̂₀ M₀ 에 포함된다는 것을 증명한다. 이는 손실이 평균제곱오차, 교차 엔트로피, 혹은 부등식 위반을 벌점화하는 형태이든 관계없이 적용 가능함을 의미한다. 따라서 조건부 제약을 구현할 때, 손실의 그래디언트를 직접 이용해 샘플을 다양체 위에서 “접선 방향”으로 이동시킬 수 있다.

넷째, 이 이론적 기반 위에 실제 알고리즘을 설계한다. HARPOON은 매 확산 단계마다 (1) 기존 무조건적 디노이징 p_θ(x_{t‑1}|x_t) 을 수행하고, (2) 현재 x_t 에 대해 Q_t(x_t) (즉, “더러운” 추정) 를 계산한 뒤, 손실 L_inf 의 그래디언트를 접선 방향으로 투영하여 x_t 에 추가한다. 이 과정은 “tangential correction”이라고 부르며, 샘플이 현재 쉘 M_t 을 벗어나지 않으면서 목표 제약을 만족하도록 유도한다.

실험에서는 (a) 결측값 보완(imputation)과 (b) 연속형 부등식(예: Age ≥ 10) 두 가지 대표적인 조건을 설정했다. 다양한 공개 데이터셋(Adult, Credit, Health 등)에서 HARPOON은 기존 조건부 확산(훈련‑시 조건 입력) 및 클래스‑가이드 방식보다 평균 5~12%p 높은 정확도와, 제약 위반률을 70% 이상 감소시키는 결과를 보였다. 또한, 그래디언트와 “더러운” 추정 사이의 각도 분석을 통해 이론적 기대와 일치함을 실증하였다.

전반적으로 이 논문은 **“다양체‑기반 조건부 가이드”**라는 새로운 패러다임을 제시함으로써, 표 형식 데이터에 대한 조건부 생성 문제를 훈련‑시 제약에 얽매이지 않고 일반화 가능한 방식으로 해결한다는 점에서 큰 의의를 가진다.