프리트레인된 오디오 연속학습을 위한 PACE

초록

본 논문은 사전학습된 오디오 모델을 연속학습(Continual Learning) 환경에 적용하기 위한 최초의 체계적 벤치마크를 제시하고, 기존 비전 기반 파라미터 효율 파인튜닝(PEFT) 기법이 오디오에선 성능 저하를 일으키는 원인을 분석한다. 이를 극복하기 위해 첫 세션 적응(FSA)과 다중 세션 적응(MSA)을 결합한 PACE 방식을 제안하며, 스펙트로그램 기반 경계 인식 교란 기법을 도입해 표현 겹침을 완화한다. 실험 결과, 여섯 개의 다양한 오디오 연속학습 벤치마크에서 기존 최첨단 방법들을 크게 능가한다.

상세 분석

본 연구는 사전학습된 오디오 백본이 저수준 스펙트럼 정보를 주로 인코딩하고, 고수준 의미론적 구조를 충분히 학습하지 못한다는 근본적인 특성을 발견하였다. 이러한 특성은 연속학습 상황에서 세션 간 표현 이동(representation shift)이 급격히 발생하게 만들며, 이는 비전 분야에서 관찰되는 미세한 이동과는 질적으로 다르다. 저자는 먼저 비전 분야에서 성공적인 파라미터 효율 파인튜닝(PEFT) 기법이 오디오에 그대로 적용될 경우, 프롬프트 기반 방법(L2P, DualPrompt, S‑Prompt++)이 급격한 성능 저하를 보이는 것을 실증하였다. 이는 오디오가 공유된 고차원 의미 표현보다 저수준 주파수‑시간 패턴에 의존하기 때문에, 프롬프트가 의미적 매칭을 수행하기에 부적합함을 의미한다.

대안으로 제시된 분석적 분류기와 첫 세션 적응(FSA)은 백본을 고정하고, LoRA와 같은 저차원 파라미터 적응 모듈을 뒤쪽 레이어에만 적용한 뒤, 최종 분류기를 2차 통계 기반의 분석적(classifier) 형태로 교체한다. 이 접근법은 초기 세션에서 이미 충분히 풍부한 의미 정보를 보유한 백본의 표현을 보존하면서, 새로운 작업에 대한 적응성을 확보한다. 그러나 두 가지 한계가 드러난다. 첫째, 거친(코스) 데이터셋에서는 백본이 이미 높은 표현력을 가지고 있어 첫 세션 적응이 포화(saturation) 현상을 일으키고, 이후 세션에서 추가적인 이득을 얻지 못한다. 둘째, 미세(파인) 데이터셋에서는 백본과 다운스트림 작업 간 의미 격차가 커서, 단일 세션 적응만으로는 충분한 의미 정렬이 이루어지지 않는다.

이를 해결하기 위해 PACE는 다중 세션 적응(MSA)과 서브스페이스 직교 PEFT를 도입한다. 구체적으로, 각 새로운 세션에서 발생하는 그래디언트를 기존 세션에서 학습된 서브스페이스와 직교하도록 투영함으로써, 이전에 학습된 특성의 드리프트를 최소화한다. 이는 안정성(stability)과 가소성(plasticity) 사이의 균형을 이론적으로 보장한다. 또한, 스펙트로그램 기반 경계 인식 교란(boundary‑aware perturbation) 기법을 통해 클래스 간 경계를 명시적으로 강화한다. 이 교란은 시간‑주파수 영역에서 클래스 경계 근처의 샘플에 작은 변형을 가해, intra‑class compactness와 inter‑class separability를 동시에 향상시킨다.

실험에서는 ESC‑50, UrbanSound8K, SpeechCommands V2와 같은 코스 데이터셋뿐 아니라 TIMIT‑2/3, VocalSet과 같은 파인 데이터셋을 포함한 6가지 벤치마크를 구축하였다. PACE는 모든 벤치마크에서 기존 최첨단 방법 대비 평균 5% 이상, 최악의 경우 13%에 달하는 성능 향상을 기록했으며, 특히 파인 데이터셋에서 공동 학습(joint training) 상한에 근접한 결과를 보였다. 이러한 결과는 오디오 연속학습에서 사전학습된 모델을 효과적으로 활용하기 위해서는 단순한 파라미터 고정이 아니라, 의미 정렬을 위한 단계적, 서브스페이스 기반 적응이 필수적임을 입증한다.