복잡한 물리 시스템을 위한 샘플 효율적인 확산 기반 제어

초록

본 논문은 복잡한 물리 시스템 제어에서 확산 모델의 샘플 비효율성 문제를 해결하는 SEDC 프레임워크를 제안한다. 고차원 상태-제어 공간, 강한 비선형성, 최적이 아닌 훈련 데이터와의 간극이라는 세 가지 핵심 도전과제를 해결하기 위해 상태-제어 모델링 분리(DSD), 이중 모드 분해(DMD), 가이드 자기 미세조정(GSF) 기법을 도입했다. Burgers 방정식, Kuramoto 모델, Swing 방정식 등 다양한 복잡 비선형 시스템에서 검증한 결과, SEDC는 기존 최신 방법 대비 39.5%~47.3% 더 높은 제어 정확도를 달성하면서도 훈련 샘플은 10%만 사용하는 높은 샘플 효율성을 입증했다.

상세 분석

본 논문은 확산 모델을 활용한 물리 시스템 제어 분야에서 중요한 진전을 이루었다. 기존 확산 기반 제어 방법(예: Diffuser, DiffPhyCon)은 전체 상태-제어 궤적을 한 번에 생성함으로써 장기적 일관성을 달성했지만, 고차원의 복잡한 분포를 모델링해야 하기 때문에 많은 양의 훈련 데이터를 필요로 하는 한계가 있었다. 특히 물리 시스템은 상태와 제어 입력이 강하게 결합된 복잡한 동역학을 가지므로, 제한된 데이터로는 물리적으로 일관되지 않은 궤적이 생성되기 쉽다.

SEDC는 이러한 근본적인 문제를 세 가지 혁신적인 기법으로 접근한다. 첫째, Decoupled State Diffusion (DSD) 은 상태와 제어 입력의 결합된 공간을 직접 모델링하는 대신, 상대적으로 구조화된 상태 공간만을 확산 과정의 대상으로 삼는다. 생성된 상태 궤적은 별도로 학습된 역동역학 모델을 통해 제어 입력으로 변환된다. 이는 모델링해야 할 분포의 차원을 크게 줄여 샘플 효율성을 극대화한다. 특히 상태 궤적은 제어 입력보다 매끄럽고 예측 가능한 경향이 있어 생성 모델이 학습하기 더 쉽다는 점을 활용했다.

둘째, Dual-Mode Decomposition (DMD) 은 강한 비선형성을 가진 시스템을 효과적으로 모델링하기 위한 네트워크 구조다. 단일 U-Net이 모든 복잡성을 학습해야 하는 기존 방식과 달리, DMD는 선형 성분과 비선형 성분을 분리하여 계층적으로 모델링하는 이중 U-Net 구조와 잔차 연결을 채택한다. 이를 통해 시스템 동역학의 구조화된 표현을 가능하게 하고, 제한된 데이터로도 강한 비선형성을 포착하는 능력을 향상시킨다.

셋째, Guided Self-finetuning (GSF) 는 최적이 아닌 훈련 데이터로부터 최적에 가까운 제어 법칙을 발견하는 메커니즘이다. 초기 훈련된 모델로 생성된 궤적 중에서 목표 함수(예: 에너지 소비) 기준으로 향상된 샘플을 선별하여 데이터 풀에 추가하고, 이를 바탕으로 모델을 반복적으로 미세 조정한다. 이 과정은 데이터 매니폴드를 점차 최적 영역으로 확장시켜, 초기 데이터 분포에 갇히지 않고 진보된 제어 정책을 학습할 수 있게 한다.

실험 결과는 이론적 기대를 충분히 입증한다. 10%의 데이터만으로도 기존 방법의 성능을 뛰어넘으며, 특히 고차원 Burgers 방정식과 같은 난제에서도 안정적인 제어를 보였다. 또한, 제어 정확도와 에너지 소비 간의 균형도 우수했다. 이는 SEDC가 단순히 궤적을 재현하는 것이 아니라, 물리 법칙을 준수하면서도 효율적인 제어 입력을 합성할 수 있음을 의미한다. 본 연구는 데이터 기반 제어 분야에서 샘플 효율성과 성능을 동시에 높일 수 있는 새로운 패러다임을 제시하며, 실험 비용이 높거나 최적 데이터를 얻기 어려운 실제 물리 시스템(예: 발전망 제어, 유체 제어) 적용에 큰 잠재력을 보여준다.