널 공간 투영으로 주제와 스타일을 하나로

초록

독립 학습된 콘텐츠와 스타일 LoRA의 간섭 문제를 해결하는 NP-LoRA를 제안한다. 기하학적 분석을 통해 가중치 기반 융합의 한계를 지적하고, SVD를 이용한 널 공간 투영 기법으로 스타일 하위 공간을 보호하며 콘텐츠를 주입한다. 추가적인 소프트 투영 메커니즘을 통해 충실도와 일관성의 균형을 조절할 수 있으며, 추가 학습 없이도 기존 LoRA 쌍에 적용 가능하다.

상세 분석

본 논문이 제안하는 NP-LoRA의 핵심 기술적 통찰은 LoRA 융합의 문제를 기하학적 관점에서 재정의한 데 있다. 기존 가중치 기반 융합 방식(선형 결합, 최적화된 가중치 학습 등)은 독립적으로 학습된 콘텐츠(∆W_c)와 스타일(∆W_s) LoRA가 사전 학습된 모델의 동일한 특징 공간 내에서 상관관계를 가지며, 비직교적인(Non-Orthogonal) 저차원 부분 공간을 점유한다는 사실을 간과했다. 이로 인해 두 LoRA의 주요 방향이 중첩되어 융합 시 파괴적인 간섭이 발생하며, 특히 생성 행동을 지배하는 소수의 주요 방향(Principal Directions)이 훼손되어 스타일 충실도가 떨어지는 결과를 초래한다.

NP-LoRA는 이 문제를 ‘널 공간 투영(Null-Space Projection)’ 문제로 공식화한다. 구체적인 방법은 다음과 같다. 먼저 스타일 LoRA 행렬 ∆W_s에 특이값 분해(SVD)를 적용하여 상위 k개의 우특이벡터(V_k)를 추출한다. 이 벡터들이 스타일 정보가 집중된 ‘보호해야 할 부분 공간(Style-Critical Subspace)‘의 기저(Basis)를 형성한다. 다음으로, 이 공간에 대한 직교 여공간(Orthogonal Complement), 즉 ‘널 공간’으로의 투영 연산자 P_null = I - V_k * V_k^T를 구성한다. 최종적으로 콘텐츠 LoRA를 이 널 공간에 투영(∆W_c^⊥ = ∆W_c * P_null)시킨 후, 원본 스타일 LoRA와 더하여 융합된 LoRA(∆W_m = ∆W_s + ∆W_c^⊥)를 생성한다. 이 하드 프로젝션(Hard Projection) 방식은 수학적으로 콘텐츠 정보가 스타일 부분 공간에 전혀 간섭하지 않도록 보장한다.

또한, 하드 프로젝션이 스타일은 완벽히 보존하지만 콘텐츠 정보가 과도하게 억제될 수 있다는 점을 보완하기 위해 ‘소프트 프로젝션(Soft Projection)’ 메커니즘을 도입했다. 이는 투영 강도를 조절하는 매개변수 μ를 도입하여 P_null_soft = I - μ * V_k * V_k^T 와 같은 형태로 투영 연산자를 완화한다. μ=0일 때는 기존의 가중치 합과 동일하고, μ=∞일 때는 하드 프로젝션과 동일하다. μ 값을 조정함으로써 사용자는 생성 이미지의 ‘주제 충실도(Subject Fidelity)‘와 ‘스타일 일관성(Style Consistency)’ 사이의 트레이드오프를 연속적으로 제어할 수 있는 유연성을 얻는다. 이 방법론은 순전히 기하학적 연산에 기반하므로 추가 학습(Training-Free)이 필요 없으며, 다양한 사전 학습된 LoRA 쌍에 즉시 적용 가능한 확장성을 가진다.