딥러닝이 영어 어휘 강세를 어떻게 인식하는가

초록

본 연구는 자동으로 구축한 영어 이음절 단어 데이터셋을 이용해, 스펙트로그램을 입력으로 하는 여러 CNN 모델을 학습시켜 강세 위치를 예측한다. 최고 성능 모델은 테스트에서 92% 정확도를 달성했으며, Layerwise Relevance Propagation(LRP) 분석을 통해 모델이 주로 강세 음절의 모음 1·2차 포먼트와 피치 정보를 활용함을 확인했다.

상세 분석

이 논문은 크게 네 가지 핵심 기여를 제시한다. 첫째, 인간 라벨링 없이 강세 정보를 자동으로 추출한 대규모 데이터셋을 구축하였다. 이를 위해 ChatGPT‑4o가 생성한 30개의 최소쌍(minimal pair)과 250개의 비최소쌍 단어를 세 개의 공개 음성 코퍼스(LibriSpeech, Supreme Court, TED‑LIUM)에서 강제 정렬(Montreal Forced Aligner)과 품사 태깅, CMU 발음 사전을 결합해 0.5 초 길이의 스펙트로그램으로 변환하였다. 둘째, 다양한 CNN 아키텍처(LeNet‑5, VGG11/16/19, ResNet‑18)를 비교했으며, 특히 VGG16이 가장 높은 92% 정확도를 기록했다. 데이터 증강으로 저역통과 잡음 혼합을 적용해 모델의 일반화 능력을 강화하였다. 셋째, LRP 기법을 활용해 모델의 결정 근거를 시각화하였다. 초기·최종 강세를 구분하는 최소쌍(예: PROtest vs. proTEST)에서, LRP heatmap은 강세가 있는 음절, 특히 모음 영역에 높은 기여도를 보였으며, 전체 단어에 걸쳐 분산된 작은 기여도도 관찰되었다. 넷째, 특징별 관련성 분석을 수행해 가장 중요한 음향 특성을 정량화하였다. 강세 모음의 첫 번째(F1)와 두 번째(F2) 포먼트가 가장 큰 영향을 미쳤으며, 피치와 세 번째 포먼트(F3)도 보조적인 역할을 하는 것으로 나타났다. 이러한 결과는 전통적인 음성학 연구에서 제시된 “강세는 높은 에너지·긴 지속·높은 피치”라는 가설을 딥러닝 모델이 자동으로 학습했음을 시사한다. 또한, 모델이 단순히 특정 순간의 스펙트럼만 보는 것이 아니라, 시간‑주파수 전반에 걸친 분산된 단서를 활용한다는 점에서 기존의 규칙 기반 접근법과 차별화된다. 논문은 데이터셋 구축, 모델 설계, 해석 방법론을 체계적으로 연결함으로써, 딥러닝 기반 음성 처리 시스템의 투명성을 높이는 실증적 토대를 제공한다.