오디오 모델 해석을 위한 희소 자동인코더: Whisper·HuBERT 특성 탐구

초록

본 논문은 대규모 음성·오디오 모델인 Whisper와 HuBERT의 내부 표현을 희소 자동인코더(SAE)로 분해하여, 특징의 안정성·해석 가능성·실용성을 체계적으로 평가한다. 50% 이상의 특성이 랜덤 시드에 강건하게 유지되며, 재구성 품질도 손실되지 않는다. SAE 특성은 일반 음향·의미 정보뿐 아니라 웃음, 속삭임 등 파라링귀스틱 소리까지 포착하고, 개념을 제거하기 위해 19~27%의 특성만 비활성화하면 된다. Whisper에 SAE 기반 스티어링을 적용하면 허위 음성 검출이 70% 감소하고 인식 오류는 거의 증가하지 않는다. 또한, SAE 특성과 인간 EEG 반응 사이에 유의미한 상관관계가 발견돼 신경과학적 연관성도 제시한다.

상세 분석

이 연구는 먼저 Whisper와 HuBERT의 모든 인코더 레이어에서 활성값을 추출하고, 배치‑Top‑k 비선형성을 적용한 희소 자동인코더를 학습한다. 재구성 손실은 L2로, 별도 정규화 없이 순수히 희소성만을 목표로 하여 0.1~0.2 수준의 L0 비율을 달성했으며, 이는 기존 텍스트·비전 분야에서 보고된 수준과 비교해도 경쟁력 있다.

특징 안정성 평가는 IoU 기반의 분포적 유사도 지표 χ(a_k,b_m)으로 수행했으며, 서로 다른 시드·레이어·모델 간에 50% 이상이 서로 커버되는 것으로 나타났다. 이는 동일한 음향·언어 개념이 여러 SAE에 일관되게 매핑된다는 강력한 증거다. 또한 중복 특성 비율이 낮아, 학습된 4096 차원 공간이 실제로는 약 3000개의 독립적인 의미 단위로 압축된 것으로 추정된다.

해석 단계에서는 (1) 도메인 특화 분석—음성, 음악, 환경음에 대한 활성 빈도 비율을 프레임·오디오 수준에서 측정해 각 특성이 어느 도메인에 주로 기여하는지 구분했다. (2) 자동 라벨 탐색—Fisher 점수를 이용해 성별, 잡음 조건, 억양·감정 분류에 기여하는 상위 특성을 선정하고, top‑k 프루닝 및 언러닝 실험을 통해 해당 특성을 차단하면 목표 라벨의 정확도가 15~30% 감소함을 확인했다. (3) 인간 수준의 의미 분석—특정 특성을 추출해 2초 길이의 오디오 클립을 만든 뒤, 사전 학습된 오디오 캡셔닝 모델과 LLM을 연계해 “웃음”, “속삭임”, “비행기 엔진 소리” 등 직관적인 설명을 자동 생성했다.

가장 주목할 점은 개념 억제 실험이다. 특정 의미(예: “웃음”)를 제거하려면 해당 특성 집합의 19~27%만 비활성화하면 되며, 이는 전체 차원 대비 매우 효율적인 제어를 의미한다.

실용적 응용으로는 Whisper의 허위 음성 검출 감소가 있다. 비음성 구간에서 “no_speech_prob”가 낮게 예측되는 경우를 목표로 로지스틱 회귀로 hallucinative 특성을 식별하고, 부호 반전된 스티어링 벡터(α·ŝ) 를 인코더 출력에 더한다. 실험 결과, 비음성 데이터셋에서 False Positive Rate이 70% 감소했으며, 동일한 α 값으로 음성 데이터셋을 평가했을 때 Word Error Rate은 0.2% 미만의 미미한 상승만 보였다.

마지막으로, 인간 EEG와의 상관 분석에서는 기존의 “semantic dissimilarity” 트리거와 달리 SAE 특성 자체가 시간 지연 τ≈100‑200 ms 구간에서 유의미한 TRF 가중치를 보였다. 이는 청각 피질이 모델의 희소 특성을 신경 수준에서 반영한다는 가설을 뒷받침한다.

전반적으로 이 논문은 (1) 오디오 분야에서 SAE가 안정적·해석 가능·조작 가능함을 입증하고, (2) 모델 내부 표현을 인간 인지와 연결짓는 최초의 시도 중 하나이며, (3) 실제 시스템(Whisper)에서 오류 감소와 같은 실용적 이점을 제공한다는 점에서 큰 의의를 가진다.