오디오 디퓨전 모델을 활성화 스티어링으로 정밀 제어

초록

본 논문은 텍스트‑투‑뮤직 디퓨전 모델의 내부 구조를 활성화 패칭으로 분석하여, 악기·보컬·템포·무드 등 고수준 음악 개념을 담당하는 소수의 교차‑어텐션 레이어를 밝혀낸다. 이후 대비 활성화 추가(Contrastive Activation Addition)와 희소 오토인코더(Sparse Autoencoders)를 해당 레이어에 적용해 개념별 스티어링을 수행하면, 오디오 품질을 유지하면서도 원하는 음악적 속성을 정밀하게 조절할 수 있음을 실험적으로 입증한다.

상세 분석

이 연구는 최신 텍스트‑투‑오디오 디퓨전 모델(AcousticLDM2, Stable Audio Open, Ace‑Step) 내부에서 고수준 음악 개념이 어떻게 인코딩되는지를 체계적으로 탐구한다. 핵심 방법론은 ‘활성화 패칭(activation patching)’이다. 먼저 특정 개념(예: 여성 보컬)이 포함된 프롬프트 P_c와 해당 개념이 제외된 대조 프롬프트 P_~c를 쌍으로 만든다. P_c로 생성된 오디오의 교차‑어텐션 키·밸류(K,V)를 캐시한 뒤, P_~c로 생성하는 과정에서 선택한 레이어 l에만 K,V를 교체한다. 교체된 레이어가 개념을 복원하면 l이 해당 개념을 제어하는 ‘기능적 레이어’로 판정한다.

실험 결과, 세 모델 모두 전체 64(또는 24)개의 교차‑어텐션 중 2~4개의 레이어에 개념 제어가 집중돼 있음을 확인했다. U‑Net 기반 AudioLDM2에서는 디코더의 44,45,50,51번 레이어가, Transformer 기반 Ace‑Step과 Stable Audio Open에서는 각각 6‑7번, 11‑12번 레이어가 핵심 역할을 한다. 이는 음악적 의미가 모델 전반에 고르게 퍼지지 않고, ‘semantic bottleneck’이라 불리는 좁은 구간에 집중된다는 중요한 통찰을 제공한다.

이러한 레이어 특성을 활용해 두 가지 스티어링 기법을 적용했다. 첫 번째는 ‘Contrastive Activation Addition(CAA)’이다. 다수의 대조 프롬프트 쌍으로부터 각 레이어의 평균 교차‑어텐션 출력을 구하고, 차이를 정규화해 스티어링 벡터 v_CAA를 만든다. 이 벡터를 선택된 레이어에 α·v_CAA만큼 더해(ReNorm으로 정규화) 원하는 개념을 강화하거나 억제한다. 두 번째는 ‘Sparse Autoencoder(SAE)’ 기반 접근법이다. 기능 레이어에서 Top‑K SAE를 학습해 희소 코드를 추출하고, TF‑IDF 기반 중요도 점수로 개념‑특이적 피처를 선정한다. 선택된 피처들의 디코더 가중치를 합산한 v_SAE를 직접 레이어 출력에 더함으로써 보다 미세한 조정이 가능해진다.

정량 평가에서는 ‘보존성(Preservation)’, ‘정렬도(Δ Alignment)’, ‘스무스함(Smoothness)’, ‘오디오 품질(Audio Quality)’ 네 가지 지표를 사용했다. 기능 레이어에만 스티어링을 적용했을 때, 전체 레이어에 적용하거나 비기능 레이어에만 적용한 경우에 비해 정렬도는 크게 상승하고, LPAPS·FAD 기반 보존성 및 Audiobox Aesthetics 기반 품질 저하가 최소화되었다. 특히 템포 조절, 보컬 성별 전환, 악기 교체, 무드 변환 등 다양한 속성을 α 값을 조절해 연속적으로 변화시킬 수 있었으며, 청취자 실험에서도 자연스러운 변화를 확인했다.

이 연구는 (1) 오디오 디퓨전 모델이 제한된 수의 교차‑어텐션 레이어에 의미론적 특성을 집중시킨다는 ‘전문화 현상(specialization)’을 최초로 입증하고, (2) 해당 레이어를 목표로 한 활성화 기반 스티어링이 기존 텍스트 프롬프트만을 이용한 제어보다 훨씬 정밀하고 품질 손실이 적다는 실용적 가치를 제공한다는 점에서 의미가 크다. 또한, SAE를 통한 희소 표현 학습이 음악적 개념을 해석 가능한 피처로 분해할 수 있음을 보여, 향후 ‘음악 AI’ 분야에서 인터랙티브한 창작 도구 개발에 중요한 기반이 될 것으로 기대된다. 다만 현재는 제한된 10~30초 길이의 샘플과 몇 가지 주요 개념에만 실험을 수행했으며, 복합적인 다중 개념 동시 스티어링이나 실시간 인터페이스 적용 등에 대한 추가 연구가 필요하다.