Omni‑Effects: 하나의 모델로 다중 VFX를 공간까지 제어하는 통합 프레임워크

초록

Omni‑Effects는 LoRA‑MoE와 Spatial‑Aware Prompt(SAP)·Independent‑Information Flow(IIF) 모듈을 결합해, 텍스트와 마스크 기반 공간 정보를 동시에 입력받아 단일 모델에서 여러 종류의 시각 효과(VFX)를 정확한 위치에 합성할 수 있게 한다. 이를 위해 55가지 효과를 포함한 Omni‑VFX 데이터셋을 구축하고, 전용 평가 프레임워크로 품질과 제어성을 정량화하였다. 실험 결과, 기존 per‑effect LoRA 방식 대비 교차 효과 간 간섭을 크게 감소시키고, 다중 효과를 동시에 생성하면서도 픽셀 수준의 위치 정확도를 유지한다는 것을 입증한다.

상세 분석

Omni‑Effects 논문은 현대 영상 제작에서 비용 효율적인 VFX 자동 생성의 필요성을 출발점으로 삼는다. 기존 연구는 각 효과마다 별도의 LoRA(저차원 적응) 모델을 학습시키는 방식으로, 다중 효과를 동시에 적용하려 할 때 두 가지 근본적인 한계에 봉착한다. 첫 번째는 “Cross‑Adapter Interference”로, 여러 LoRA를 동시에 활성화하면 효과 간 표현 공간이 겹쳐서 VFX가 사라지거나 품질이 저하되는 현상이 발생한다. 두 번째는 “Spatial‑Semantic Misalignment”로, 텍스트 프롬프트만으로는 효과가 적용될 정확한 위치를 전달하기 어렵다.

이 두 문제를 해결하기 위해 저자는 두 핵심 기술을 제안한다. ① LoRA‑based Mixture of Experts (LoRA‑MoE) : 기존 FFN 레이어를 MoE 구조로 교체하고, 각 전문가(Expert) LoRA가 특정 효과군에 특화되도록 설계한다. 라우팅 게이트는 입력 토큰에 기반해 상위 k개의 전문가만 활성화하고, 학습 단계에서는 Top‑k 라우팅과 균형 손실(L_aux)로 전문가 간 사용량을 고르게 만든다. 추론 시에는 모든 전문가를 활성화해 효과 억제를 방지한다. 이렇게 하면 효과별 서브스페이스가 분리돼 교차 간섭이 최소화되고, 서로 다른 효과를 동시에 학습해도 품질 저하가 거의 없어진다.

② Spatial‑Aware Prompt (SAP)와 Independent‑Information Flow (IIF) : 텍스트 토큰에 공간 마스크 정보를 직접 삽입하고, 어텐션 단계에서 조건‑조건 간 정보 흐름을 차단하는 마스크 M을 도입한다. M은 조건‑조건, 노이즈‑조건 어텐션을 −∞ 로 억제해 서로 다른 VFX가 서로의 위치에 섞이는 현상을 방지한다. 또한, 공간 마스크 토큰에 초기 프레임의 위치 임베딩을 더하고, 공유 Spatial‑Condition LoRA를 사용해 파라미터 효율성을 높인다. 결과적으로 텍스트와 마스크가 결합된 SAP+IIF는 “텍스트만으로는 위치를 지정할 수 없다”는 기존 한계를 극복하고, 다중 마스크가 겹쳐도 각 효과가 독립적으로 작동하도록 만든다.

데이터 측면에서 저자는 이미지 편집 모델과 First‑Last Frame‑to‑Video(FLF2V) 파이프라인을 결합해, 초기/최종 프레임 쌍을 자동 생성하고 이를 영상으로 변환하는 Omni‑VFX 데이터셋을 구축했다. 55개의 효과 카테고리와 다양한 씬을 포함해, 각 효과마다 전·후 프레임이 명시된 영상 쌍을 제공한다. 또한 VFX 전용 평가 프레임워크를 설계해 FVD, SSIM, 프레임별 마스크 정밀도 등을 종합적으로 측정한다.

실험 결과는 세 가지 핵심 능력을 검증한다. (1) 단일 VFX 생성: LoRA‑MoE가 기존 단일 LoRA 대비 FVD를 12% 이상 개선한다. (2) 다중 VFX 동시 생성: SAP+IIF가 없을 경우 발생하던 효과 혼합 및 위치 오류가 거의 사라지고, 정량적 지표에서 0.85 이상의 마스크 IoU를 달성한다. (3) 공간 제어 정확도: 텍스트만 사용했을 때는 평균 0.62의 IoU였던 것이, SAP+IIF 적용 시 0.91로 크게 상승한다.

전체적으로 Omni‑Effects는 “하나의 통합 모델로 다중 VFX를 공간까지 정밀 제어한다”는 목표를 성공적으로 달성했으며, VFX 제작 파이프라인을 크게 간소화하고 비용 효율성을 높일 수 있는 실용적인 솔루션을 제시한다.