TC LoRA: 시간에 따라 변하는 가중치로 확산 모델을 정밀 제어하다

초록

기존 확산 모델의 조건부 제어는 고정된 네트워크가 중간 활성화 값을 수정하는 정적 방식이었습니다. 본 연구는 확산 과정의 각 단계(시간)와 사용자 조건(예: 깊이맵)에 따라 모델의 가중치 자체를 실시간으로 변경하는 동적 패러다임인 TC-LoRA를 제안합니다. 하이퍼네트워크가 조건에 맞는 LoRA 어댑터를 생성해 주어, 모델이 생성 단계에 맞춰 조잡한 구조 설정부터 세부 묘사까지 적응형 제어 전략을 학습하고 실행할 수 있게 합니다. 이 방법은 정적 방식보다 공간 조건 준수도와 생성 품질을 크게 향상시킵니다.

상세 분석

TC-LoRA의 핵심 기술적 혁신은 제어의 ‘주체’를 활성화 공간에서 가중치 공간으로 전환한 데 있습니다. 기존 ControlNet 스타일 방법은 고정된 네트워크 파라미터를 가지며, 조건 정보(예: 깊이맵)와 타임스텝을 입력으로 받아 중간 특징맵에 주입하는 방식으로 작동합니다. 이는 본질적으로 고정된 함수 f_θ(x, t, y)에 입력을 변조하는 것과 같아, 역전파의 다단계 동적 과정에 최적화된 적응형 처리를 제공하기 어렵습니다.

TC-LoRA는 이 문제를 ‘동적 가중치 적응’이라는 패러다임으로 접근합니다. 사전 학습된 기본 모델의 가중치 W0는 동결된 상태로 유지하며, 각 역전파 단계 t와 조건 y에 따라 하이퍼네트워크 H_φ가 해당 컨텍스트에 특화된 LoRA 행렬 B(i,t,y)와 A(i,t,y)를 실시간 생성합니다. 수식 W’ = W0 + B(t,y)A(t,y)으로 나타나며, 이는 함수 자체를 조건에 따라 변화시키는 f_θ(t,y)(x)에 해당합니다. 이로 인해 모델은 초기 단계에서는 대략적인 공간 구조를 강하게 반영하고, 후기 단계에서는 미세한 디테일을 조정하는 등 생성 단계별로 다른 계산 전략을 취할 수 있는 능동적 적응이 가능해집니다.

실험 결과는 이 이론적 장점을 입증합니다. NMSE, si-MSE 지표에서 ControlNet 대비 우수한 성능을 보였으며, 특히 깊이 조건과 생성 이미지의 구조적 일치도(예: 강아지 자세, 보행자 실루엣)에서 정성적으로도 향상된 정밀도를 확인할 수 있습니다. 또한, 전체 파라미터 수(251M)는 비교 대상(900M)보다 훨씬 적으면서 더 나은 성능을 달성하여 파라미터 효율성도 갖췄습니다. 이는 고정된 대규모 제어 네트워크를 추가하는 대신, 작은 하이퍼네트워크가 동적으로 최적의 저차원 조정을 생성하기 때문입니다. 이 접근법은 확산 모델 제어를 단순한 ‘입력 가이드’를 넘어 모델의 내재적 계산 구조를 과제와 단계에 맞춰 재구성하는 ‘기능적 적응’의 영역으로 끌어올렸다는 점에서 의미가 깊습니다.