구조 보존 학습으로 물리 기반 일관성 모델 안정화

초록

본 논문은 물리 제약을 포함한 일관성 모델(Consistency Model)의 학습 불안정을 해결하기 위해 두 단계 학습과 채널 분리 구조를 제안한다. 첫 단계에서 데이터 분포를 학습하고, 두 번째 단계에서 물리 잔차를 적용하되 계수 디코더를 고정함으로써 퇴화 현상을 방지한다. 또한 두 단계 잔차 목표를 도입해 정제된 샘플에만 물리 일관성을 부과한다. 이를 통해 몇 단계만으로도 고품질 PDE 해를 빠르게 생성하고, 제로샷 인페인팅 방식으로 전방 문제를 해결한다.

상세 분석

이 연구는 최근 확산 모델의 샘플링 비용 문제를 해결하기 위해 제안된 일관성 모델(Consistency Model, CM)의 물리‑인포드 버전을 다룬다. 기존 CM은 “self‑consistency” 손실 𝒇θ(x_t,t)=𝒇θ(x_{t′},t′) 를 최소화해 임의의 시점 t 에서 직접 데이터 x_0 로 매핑한다. 그러나 PDE 잔차를 직접 손실에 포함시키면, 물리 손실이 데이터 분포와 무관하게 낮은 복잡도(예: 상수 계수, 과도히 매끄러운 해)로도 최소화될 수 있어 모델이 모드 붕괴 혹은 퇴화 솔루션으로 수렴한다는 실증적 증거를 제시한다.

이를 극복하기 위해 저자는 두 단계 학습 파이프라인을 설계한다. 1단계에서는 기존 sCM(continuous‑time CM) 목표만 사용해 공동 분포 p(a,u) 를 학습한다. 여기서 a는 PDE 계수, u는 해이며, 트리그플로우 파라미터화 𝒇θ(x_t,t)=cos(t)x_t−sin(t)σ_dFθ(x_tσ_d,t) 로 안정적인 경로를 유지한다. 2단계에서는 물리 잔차 L_phys=‖R(u,a)‖² 를 추가하지만, 계수 디코더를 완전히 고정한다. 즉, a에 대한 표현은 1단계에서 학습된 “잠금된” 매니폴드에 머무르게 하여, 물리 손실이 a를 퇴화시키는 것을 방지한다.

또한, 물리 손실을 적용할 때 “두 단계 잔차 연산자”를 도입한다. 순수 노이즈에서 바로 한 번의 일관성 매핑을 수행하면 고주파 잡음이 남아 PDE 연산자에 민감한 잔차가 크게 발생한다. 저자는 한 번의 재노이즈·디노이즈 과정을 거쳐 샘플을 매끄러운 근사 해로 이동시킨 뒤 물리 잔차를 계산하도록 설계함으로써, 그래디언트의 분산을 크게 감소시키고 학습 안정성을 확보한다.

구조적 관점에서 모델은 공유 인코더 뒤에 두 개의 디코더를 두는 “채널 분리” 아키텍처를 사용한다. 고정된 디코더는 a 채널만 출력하고, 가변 디코더는 u 채널만 학습한다. 최종 출력은 두 디코더의 채널을 concat 하여 (a,u) 형태로 만든다. 이 설계는 물리‑인포드 파인튜닝 동안 a의 분포가 변하지 않도록 보장하고, u는 물리 잔차에 의해 직접 최적화되도록 만든다.

실험에서는 2D 및 3D PDE(예: 포아송 방정식, 파동 방정식)에서 제안된 sCM‑PINN이 기존 물리‑인포드 확산 모델과 비교해 14 단계 샘플링만으로 동등하거나 더 낮은 H¹ 상대 오차를 달성함을 보여준다. 특히 전방 문제를 제로샷 인페인팅 방식으로 해결했을 때, 수천 단계가 필요한 전통적인 확산 샘플링 대비 10⁻²10⁻³ 수준의 연산량 감소를 기록한다.

요약하면, 논문은 (1) 데이터‑물리 목표의 충돌을 완화하는 두 단계 학습, (2) 계수 디코더 고정을 통한 구조 보존, (3) 정제된 샘플에 물리 잔차를 적용하는 두 단계 연산자를 제안함으로써, 일관성 모델을 물리‑인포드 시나리오에 안정적으로 적용하고, 실시간 수준의 PDE 해 생성이 가능하도록 만든다.