Additive Margin SincNet을 활용한 화자 인식 성능 향상

본 연구는 화자 인식 분야에서 널리 사용되는 SincNet 모델에 Additive Margin Softmax(AM‑Softmax) 손실 함수를 적용한 새로운 아키텍처인 AM‑SincNet을 제안한다. 기존 SincNet은 파라미터화된 sinc 함수를 첫 번째 컨볼루션 레이어에 적용해 원시 오디오 파형을 직접 처리함으로써, 전통적인 CNN 대비 적은 파라미터로 효과적인 저‑레벨 스펙트럼 특성을 추출한다. 그러나 최종 분류 단계에서 Softmax 손실을 사용하면 클래스 간 경계는 최적화되지만, 동일 클래스 내 샘플 간 거리 최소화에는 한계가 있다. 이를 보완하기 위해 AM‑Softmax는 로그it에 마진 m을 빼고 스케일링 s를 곱해, 같은 클래스의 샘플을 더 가깝게, 다른 클래스는 더 멀리 배치하도록 강제한다. 논문에서는 이 마진 기반 손실 함수를 SincNet의 Softmax 레이어와 교체함으로써 AM‑SincNet을 구현하였다. 실험은 미국 영어 방언을 포함한 630명의 화자를 보유한 TIMIT 데이터셋을 사용하였다. 각 화자당 5개의 발화를 학습에, 나머지 3개의 발화를 테스트에 사용했으며, 오디오 파형을 200 ms 길이의 청크로 10 ms 겹치게 나누어 입력하였다. 학습 설정은 RMSprop 옵티마이저, 배치 크기 128, 학습률 0.001, 모멘텀 0.95, 가중치 감쇠 1e‑7이며, 총 352 epoch 동안 진행하였다. AM‑Softmax의 스케일링 파라미터 s는 30으로 고정하고, 마진 파라미터 m은 0.35부터 0.80까지 0.05 간격으로 변화를 주어 실험하였다. 또한, 수치적 안정성을 위해 1e‑11의 epsilon을 추가하였다. 표 1과 그림 3은 다양한 m 값에 대한 프레임 오류율(FER) 변화를 보여준다. 초기 epoch(0~48)에서는 SincNet이 약간 더 낮은 FER을 보였지만, 학습이 진행될수록 AM‑SincNet은 지속적으로 오류율을 감소시켰다. 특히 epoch 96 이후에는 대부분의 m 값에서 SincNet을 크게 앞섰으며, 최종 epoch 352에서는 m=0.75일 때 FER 27.57%를 기록, SincNet의 44.64%에 비해 약 40% 낮은 오류율을 달성했다. m=0.50~0.75 구간에서 가장 일관된 성능 향상이 관찰되었으며, 마진 값이 너무 작거나 너무 크면 최적의 성능을 얻지 못한다는 점도 확인되었다. 전체적으로 AM‑SincNet은 학습이 충분히 진행될 경우 SincNet 대비 현저히 낮은 FER을 유지한다는 결론을 얻었다. 논문의 결론에서는 손실 함수 선택이 모델 성능에 미치는 영향을 강조한다. AM‑Softmax는 추가 파라미터 두 개(s와 m)만 필요하지만, 적절히 설정하면 기존 SincNet보다 훨씬 높은 구분 능력을 제공한다. 향후 연구 방향으로는 VoxCeleb2와 같은 대규모 데이터셋에서의 검증, 학습 시간 연장에 따른 수렴 현상 관찰, 그리고 Classification Error Rate(CER)와 Equal Error Rate(EER)와 같은 추가 평가 지표를 활용한 비교를 제시한다. 또한, 마진 파라미터의 자동 튜닝 방법이나 동적 스케일링 전략을 도입해 더욱 일반화된 성능 향상을 모색할 수 있다.