연합 음성 클로닝을 위한 개인화 아이덴티티 스타일 적응

초록

Fed-PISA는 연합 학습 환경에서 음성 클로닝을 수행하기 위해 스피커 고유의 아이덴티티는 로컬 ID‑LoRA로 고정하고, 스타일 변화를 담당하는 경량 Style‑LoRA만을 서버와 교환한다. 서버에서는 스타일 유사성을 기반으로 한 협업 필터링 방식의 개인화 집계로 각 클라이언트에 맞춤형 스타일 모델을 제공한다. 실험 결과, 기존 연합 TTS 방식보다 통신량을 크게 줄이면서도 스타일 표현력, 화자 유사도, 자연스러움에서 우수한 성능을 보였다.

상세 분석

Fed-PISA는 연합 학습(Federated Learning)과 파라미터 효율적 미세조정(Parameter‑Efficient Fine‑Tuning, PEFT) 기법을 결합한 혁신적인 음성 클로닝 프레임워크이다. 핵심 아이디어는 두 종류의 LoRA 어댑터를 분리하는 것이다. 첫 번째인 ID‑LoRA는 스피커의 고유 음색(timbre)을 캡처하도록 설계되었으며, 클라이언트 디바이스에 영구히 저장되고 절대 서버로 전송되지 않는다. 이는 개인 데이터의 프라이버시를 보장함과 동시에 화자 고유 특성을 손실 없이 유지한다. 두 번째인 Style‑LoRA는 감정, 억양, 프로소디와 같은 스타일 요소를 모델링한다. 이 어댑터는 저차원(rank=8) 매개변수만을 포함해 경량화되어 있어 매 라운드마다 클라이언트와 서버 간에 효율적으로 교환될 수 있다.

통신 효율성을 높이기 위해 Fed-PISA는 전체 백본 모델을 고정(frozen)하고, 오직 Style‑LoRA 파라미터만을 전송한다. 실험에서 보고된 바와 같이, 전체 파라미터 대비 0.04 % 수준의 전송량으로 동일한 품질을 달성했다. 이는 기존 연합 TTS 방식(FedSpeech, Federated Dynamic Transformer)이 수백 기가바이트에 달리는 전송량을 요구하는 것과 큰 차이를 만든다.

스타일 다양성을 활용하기 위한 개인화 집계는 협업 필터링(collaborative filtering) 개념을 차용한다. 서버는 각 클라이언트의 Style‑LoRA 매개변수(A, B)를 서로 간의 코사인 유사도로 평가하고, 온도 파라미터 τ=0.5를 적용해 소프트맥스 가중치를 계산한다. 이렇게 얻은 α_ij와 β_ij 가중치를 사용해 클라이언트 i에 대한 맞춤형 어댑터를 A′_i와 B′_i로 선형 결합한다. 결과적으로 스타일이 유사한 클라이언트들의 업데이트가 더 큰 영향을 미치게 되며, 이는 “스타일 실리콘” 현상을 완화하고 각 사용자의 개별적 표현력을 강화한다.

학습 절차는 두 단계로 구성된다. 첫 번째 단계에서는 중립 음성 데이터를 이용해 ID‑LoRA를 고정된 스피커 인코더와 함께 학습시켜 화자 임베딩 간 코사인 유사도를 최대화한다. 두 번째 단계에서는 감정이 풍부한 표현 음성을 사용해 Style‑LoRA만을 업데이트한다. 이때 ID‑LoRA와 백본에 대한 그래디언트는 차단되어 스타일 학습이 화자 특성과 얽히지 않도록 설계되었다. 로컬에서 n = 80 스텝의 아이덴티티 학습 후 m = 20 스텝의 스타일 학습을 수행하고, 이를 50 라운드에 걸쳐 전체 클라이언트(참여율 20%)와 공유한다.

평가에서는 네 개의 공개 데이터셋(ESD, EmoV‑DB, RAVDESS, CREMA‑D)을 사용해 10개의 통합 스타일 클래스를 정의하고, WER/CER, 스타일 표현성(SE), 화자 유사도(SS), 자연스러움(nMOS) 등 네 가지 지표를 측정했다. Fed-PISA는 기존 연합 베이스라인 대비 WER을 2.70%에서 0.704%까지 크게 낮추고, SS를 0.645(최고)로 끌어올렸다. 특히 스타일 표현성 점수는 0.704로 제로샷(0.659)보다 월등히 높았다. 통신 비용은 45.8 GiB로, FedSpeech(145.28 GiB)와 FedDy.Trans(456.35 GiB)에 비해 3배 이상 절감되었다.

아울러 Ablation 실험에서 ID‑LoRA를 제거하면 화자 유사도가 급감하고, Style‑LoRA를 제거하면 스타일 표현성과 자연스러움이 크게 저하되는 것을 확인했다. 이는 두 어댑터가 각각 화자 고유성 및 스타일 다양성을 담당한다는 가설을 실증한다. 또한 스타일 학습 스텝 비율을 조정한 실험에서는 ID‑LoRA에 충분한 스텝을 할당할수록 화자 유사도가 상승하고, 스타일 스텝을 늘릴수록 자연스러움이 개선되는 트레이드오프를 명확히 보여준다.

종합하면, Fed-PISA는 (1) 고차원 백본 모델을 그대로 활용하면서도 파라미터 효율성을 확보하고, (2) 화자 아이덴티티와 스타일을 명확히 분리해 프라이버시와 개인화를 동시에 만족시키며, (3) 협업 필터링 기반의 개인화 집계를 통해 이질적인 스타일 데이터를 효과적으로 통합한다는 세 가지 핵심 기여를 제공한다. 이는 향후 연합 음성 합성, 개인 비서, 맞춤형 오디오 콘텐츠 제작 등 다양한 실용 시나리오에 적용 가능성을 크게 확대한다.