스펙트럼 진화 탐색으로 효율적인 인퍼런스 시점 이미지 정렬

초록

본 논문은 이미지 생성 모델의 초기 노이즈를 저주파 성분에 한정해 진화적 탐색을 수행하는 “Spectral Evolution Search (SES)”를 제안한다. 웨이브렛 변환으로 고주파를 고정하고, 교차 엔트로피 방법(CEM)으로 저주파 파라미터를 최적화함으로써 탐색 차원을 크게 축소한다. 이론적으로는 생성 흐름의 미분 방정식에서 저주파 교란이 시간 전파 시 증폭되고 고주파는 급격히 감쇠한다는 “Spectral Scaling Prediction”을 도출한다. 실험 결과, 동일한 연산 예산(NRE) 하에서 기존 초기 노이즈 최적화 방법보다 품질·효율 모두에서 우수함을 보이며, 특히 비미분 가능한 인간 선호도와 같은 보상 함수를 효과적으로 활용한다.

상세 분석

본 연구는 최근 확산 모델·플로우 매칭 모델에서 “인퍼런스‑타임 스케일링”이라는 패러다임이 주목받고 있음에도, 초기 노이즈를 전역적으로 탐색하는 기존 방법이 차원 저주와 효율성 한계에 봉착한다는 점을 정확히 짚어낸다. 저자들은 먼저 다양한 샘플을 주입해 본 결과, 초기 노이즈의 저주파 성분이 최종 이미지 구조에 미치는 영향은 크지만, 고주파 성분은 에너지 동일 조건에서도 시각적 변화를 거의 일으키지 못한다는 ‘스펙트럼 바이어스’를 실험적으로 확인한다. 이를 이론적으로 뒷받침하기 위해, 연속시간 확산 모델을 ODE 형태로 기술하고, 초기 교란 ξ₀가 최종 출력 x₁에 전파되는 변분 방정식 dξₜ/dt = J_v ξₜ 를 전개한다. 여기서 J_v는 속도장(v) 의 야코비안이며, 저자들은 J_v 를 “신호 증폭(μ(t)·Ĵₓ)”과 “노이즈 수축(ν(t)·I)” 두 항으로 분해한다. μ(t)·Ĵₓ 은 데이터 매니폴드의 접선 방향을 선택적으로 확대하고, ν(t)·I 는 모든 차원을 균일하게 수축한다. 고주파 성분은 주로 노이즈 수축에 의해 급격히 약화되지만, 저주파 성분은 신호 증폭에 의해 상대적으로 유지·증폭된다. 이러한 동역학적 분석은 파워‑로우 형태의 감쇠 법칙을 도출해 “Spectral Scaling Prediction”이라 명명한다.

이론적 통찰을 바탕으로 제안된 SES는 두 단계로 구성된다. 첫째, 이산 웨이브렛 변환(DWT)을 이용해 초기 노이즈 x_init 을 저주파 계수 u와 고주파 배경 c_fixed_H 로 분해한다. DWT 의 직교성 덕분에 u는 여전히 표준 정규분포를 따르며, 차원은 원래 D에 비해 4^J 배만큼 감소한다(예: J=2이면 1/16). 둘째, 교차 엔트로피 방법(CEM)을 적용해 u의 가우시안 분포(p(u; μ, Σ))를 반복적으로 샘플링·평가·업데이트한다. 각 샘플은 IDWT 로 복원되어 전체 노이즈 x₀(u) 로 재구성되고, 고정된 고주파와 결합돼 이미지 생성 파이프라인에 투입된다. 보상 함수 R은 비미분 가능(예: 인간 선호도, Aesthetic 모델)일 수 있으며, CEM 은 순수 블랙박스 최적화이므로 미분 가능성에 구애받지 않는다. 엘리트 샘플의 평균·분산을 이용한 모멘텀 업데이트(γ)와 다이아고날 공분산 가정은 샘플 효율성을 크게 높이며, 탐색이 고주파 영역으로 ‘리워드 해킹’하는 것을 자연스럽게 차단한다.

실험에서는 Stable Diffusion, Imagen, Flow‑Matching 기반 모델 등 4가지 주요 생성 모델과 3가지 보상(미학 점수, 텍스트 일치 점수, 인간 피드백)에서 SES를 평가한다. 동일한 NRE(예: 500) 하에 기존 초기 노이즈 최적화(무작위 탐색, CMA‑ES)와 비교했을 때, 평균 FID·CLIP‑Score·Aesthetic 점수 모두 5~12% 개선되었으며, 특히 고주파에 의존하는 “리워드 해킹” 현상이 현저히 감소했다. 또한, 저주파 차원 축소가 탐색 속도를 3배 이상 가속화함을 보여, 실시간 혹은 제한된 GPU 메모리 환경에서도 적용 가능함을 입증한다.

전반적으로 본 논문은 (1) 생성 흐름의 스펙트럼 특성을 정량화한 이론적 프레임워크, (2) 저주파에 초점을 맞춘 차원 축소와 진화적 최적화라는 실용적 알고리즘, (3) 다양한 모델·보상에 대한 광범위한 실증 검증이라는 세 축을 통해 인퍼런스‑타임 스케일링 분야에 새로운 패러다임을 제시한다.