정밀 제어 가능한 오디오 생성·편집을 위한 Audio ControlNet

초록

본 논문은 사전 학습된 텍스트‑투‑오디오( T2A ) 백본 위에 경량 컨트롤 네트워크를 추가해, 음량·피치·사운드 이벤트 롤을 정밀하게 제어하는 방법을 제시한다. T2A‑Adapter는 38 M 파라미터만으로 AudioSet‑Strong에서 최고 수준의 이벤트·세그먼트 F1 점수를 기록했으며, 동일 구조를 확장해 삽입·삭제 편집이 가능한 T2A‑Editor도 구현한다.

상세 분석

이 연구는 기존 T2A 모델이 텍스트만으로 거친 제어를 제공하는 한계를 극복하고자, ControlNet 개념을 오디오 분야에 적용하였다. 핵심 아이디어는 사전 학습된 FluxAudio(FLUX 기반 MMDiT + DiT 하이브리드 백본)를 고정하고, 별도의 경량 네트워크가 시간‑연속적인 제어 신호를 받아 레이어별 잔차 혹은 교차‑어텐션 형태로 주입한다는 점이다. 두 가지 설계가 제안되는데, T2A‑ControlNet은 복제된 백본 구조를 이용해 각 레이어에 직접 잔차를 더하는 복사‑네트워크이며, T2A‑Adapter는 1D Conv + SiLU 로 구성된 경량 인코더가 제어 신호를 추출해 첫 l 개의 레이어에 교차‑어텐션을 통해 삽입한다. 특히 T2A‑Adapter는 파라미터 효율성이 뛰어나 38 M 추가 파라미터만으로 AudioSet‑Strong에서 54.36 (F1 event)와 68.26 (F1 segment)이라는 최고 성능을 달성했다.

제어 신호는 모두 시간 축에 정렬된 시퀀스로 통일되었다. 음량은 프레임‑레벨 RMS 에너지를 dB 로 변환 후 Savitzky‑Golay 필터로 스무딩하고, 피치는 로그‑F0 를 연속 웨이브렛 변환(CWT)으로 다중 스케일 표현한 뒤 코드북 양자화를 거쳐 임베딩한다. 사운드 이벤트는 이벤트 롤(event roll) 형태로, 각 클래스의 텍스트 라벨을 CLAP 텍스트 인코더로 임베딩하고, 활성 구간에만 해당 임베딩을 배치해 선형 변환 후 합산한다. 이렇게 만든 3종 제어 텐서는 동일한 차원으로 브로드캐스트되어 Audio ControlNet에 입력된다.

편집 기능은 T2A‑Editor를 통해 구현된다. 기존 T2A‑Adapter 구조에 레퍼런스 오디오와 “삽입/삭제” 지시문을 추가 조건으로 공급하고, 이를 또 다른 경량 인코더가 처리해 교차‑어텐션으로 주입한다. 결과적으로 텍스트‑투‑오디오 모델이 입력 오디오를 받아 특정 구간에 이벤트를 삽입하거나 제거하는 오디오‑투‑오디오 변환기로 변모한다. 실험에서는 삽입·삭제 정확도와 청취자 주관 평가 모두에서 기존 편집 모델(AU​DIT, Recomposer)보다 우수함을 보였다.

전체적으로 이 논문은 (1) 사전 학습된 T2A 백본을 그대로 활용하면서도 정밀 제어를 가능하게 하는 경량 부가 네트워크 설계, (2) 제어 신호를 통합된 시간 시퀀스로 표준화하여 확장성을 확보, (3) 동일 프레임워크를 편집 작업에 자연스럽게 확장한 점에서 의미가 크다. 특히 파라미터 효율성과 제어 정확도 사이의 균형을 잘 맞춘 T2A‑Adapter는 향후 다양한 오디오 생성·편집 응용에 바로 적용될 수 있을 것으로 기대된다.