음성 이해를 위한 기계 삭제 벤치마크

초록

본 논문은 말하기 언어 이해(SLU)에서 특정 화자의 데이터를 효율적으로 삭제하는 기계 삭제(MU) 방법들을 평가하기 위해 최초의 벤치마크인 UnSLU‑BENCH를 제안한다. 네 개 언어(영어, 이탈리아어, 독일어, 프랑스어)와 네 개 데이터셋을 사용해 두 종류의 트랜스포머 모델을 fine‑tune하고, 여덟 가지 삭제 기법을 비교한다. 또한 효능, 효율성, 유용성을 동시에 고려한 새로운 평가 지표 GUM을 정의하여, NG 기법이 전반적으로 가장 높은 점수를 얻는 것을 확인한다.

상세 분석

UnSLU‑BENCH는 SLU 분야에서 기계 삭제 연구가 거의 없던 상황을 타개하기 위해 설계되었다. 데이터셋은 FSC, SLURP*, IT‑ALIC, SpeechMASSIVE(독일어·프랑스어) 네 가지이며, 각각 31~60개의 인텐트를 포함하고 화자별 라벨이 제공된다. 특히 SLURP는 기존에 화자 독립 분할이 없었으므로, 저자들은 새로운 화자‑독립 스플릿을 공개함으로써 재현성을 높였다. 모델은 영어에 wav2vec 2.0과 HuBERT, 다국어에 XLS‑R‑128·XLS‑R‑53을 사용했으며, XLS‑R‑53은 각 언어에 대해 ASR‑fine‑tuned된 버전이다.

삭제 대상은 전체 학습 데이터의 2.5~5%에 해당하는 화자 집합(S_f)이며, 이는 실제 “잊혀질 권리” 요청을 시뮬레이션한다. MU 알고리즘은 원본 모델 θ에서 retain set(D_r)만을 사용해 새로운 모델 \hatθ를 생성한다. Gold model θ′는 D_f를 완전히 제외하고 처음부터 학습한 모델로, \hatθ와의 거리 측정 기준이 된다.

여덟 가지 방법은 다음과 같다. (1) Fine‑Tuning(FT): retain set을 한 epoch 추가 학습. (2) Negative Gradients(NG): forget set에 대해 역방향 그래디언트 적용. (3) NG+ : NG와 FT를 결합해 catastrophic forgetting을 방지. (4) CF‑k : 마지막 k층만 FT. (5) UNSIR : forget set에 노이즈를 주어 손상 후 FT 복구. (6) Bad Teaching(BT)와 경량형 BT‑L: 교사‑학생 디스틸레이션을 활용. (7) SCRUB: 교사‑학생 구조에서 forget set에 대한 손실을 최소화.

평가 지표는 기존 연구가 개별적으로 다루던 효능(efficacy, MIA), 효율성(efficiency, 시간), 유용성(utility, macro‑F1) 세 가지를 동시에 고려한다. 효능 E는 MIA 값의 정규화된 차이로 정의하고, 효율성 T는 로그 스케일의 시간 비율로 측정한다. 최종 GUM은 가중 조화 평균으로, α=β=1인 경우 세 요소를 동등하게 반영한다.

실험 결과, NG가 대부분의 설정에서 가장 높은 GUM을 기록했다. 특히 wav2vec 2.0 기반 FSC에서는 GUM이 두 번째 후보보다 35% 이상 우수했으며, XLS‑R‑53 기반 다국어 데이터에서는 39~48% 향상을 보였다. NG는 MIA를 gold model에 가깝게 유지하면서도 1,000배 이상 속도 향상을 달성했다. NG+는 F1 점수는 약간 높지만 속도가 크게 떨어져 전체 GUM이 낮았다. FT는 대형 모델에서 유용성을 유지하면서도 적당한 효능을 보였으며, CF‑k는 속도는 빠르지만 효능이 다소 낮았다. UNSIR와 BT 계열은 중간 정도의 성능을 보였으며, SCRUB은 전반적으로 안정적인 결과를 제공했지만 NG에 비해 효율성이 떨어졌다.

또한, 학습률(LR) 민감도 분석을 통해 NG는 LR 변화에 비교적 강건함을 보였으며, 특히 IT‑ALIC에서 LR 1e‑05~1e‑04 구간에서 최적의 GUM을 달성했다. 반면 NG+와 BT‑L은 특정 LR에서 catastrophic forgetting 현상이 나타나 F1_F가 급격히 감소하는 현상이 관찰되었다.

이 논문은 SLU에서 MU 연구의 초석을 마련함과 동시에, GUM이라는 통합 지표가 실제 서비스 적용 시 어떤 방법을 선택해야 할지 명확한 가이드를 제공한다는 점에서 의의가 크다. 향후 연구는 화자 수준이 아닌 발화 수준, 혹은 특정 인텐트 수준의 삭제를 다루거나, gold model 없이도 GUM을 추정할 수 있는 프록시 메트릭 개발이 필요하다.