자동 노래 실수 탐지와 교육적 분석

초록

**
본 논문은 인도 고전 음악 교육을 위한 교사‑학습자 동시 녹음 데이터셋(M3)을 구축하고, 음정·음량 오류를 자동으로 식별하는 규칙 기반 및 딥러닝 모델(CNN, CRNN, TCN)을 제안한다. 프레임‑단위 오류 라벨링과 새로운 평가 방법을 도입해 학습 기반 모델이 규칙 기반보다 우수함을 입증하고, 교사별 오류 패턴 차이를 분석함으로써 교육적 인사이트를 제공한다.

**

상세 분석

**
이 연구는 기존 음악 자동 평가가 전체 점수에 머무르는 한계를 넘어, 초보 학습자의 구체적 실수를 프레임 단위로 탐지하는 새로운 과제를 정의한다. 데이터셋 구축 단계에서 교사와 학습자의 보컬을 동기화하고, 교사가 직접 음정(Frequency), 음량(Amplitude), 발음(Pronunciation), 타이밍(Timing) 네 종류의 오류를 시간‑스탬프와 함께 라벨링하였다. 특히 음정 오류는 옥타브 차이를 제외하고 로그‑스케일로 정규화했으며, 무음 프레임은 -1이라는 sentinel 값으로 구분해 모델이 음성/무음 구분을 명확히 학습하도록 설계했다. 음량 오류는 RMS 에너지의 로그 변환으로 표현하고, 클래스 불균형을 완화하기 위해 인위적인 에너지 변조를 통한 데이터 증강을 적용하였다.

모델링 측면에서는 1차원 CNN, CRNN(Convolution‑Recurrent), TCN(Temporal Convolutional Network) 세 가지 아키텍처를 비교하였다. 입력 특징으로는 음정 경우 로그‑피치와 크로마그램, 음량 경우 로그‑RMS를 사용했으며, 두 채널을 병합해 멀티라벨(음정·음량) 예측을 수행한다. 손실 함수는 각 라벨에 대해 바이너리 교차 엔트로피를 적용하고, 클래스 가중치를 통해 희소한 음량 오류에 대한 민감도를 높였다.

평가 방법은 기존의 프레임 정확도 외에 오류 탐지의 정밀도·재현율을 동시에 고려하는 F1‑score 기반 메트릭을 제안한다. 또한 교사별 오류 분포를 비교하는 교차‑교사 분석을 수행해, 특정 교사의 교육 스타일이 특정 오류 유형(예: 음정 미세 조정)과 높은 상관관계를 가짐을 확인했다. 실험 결과, 딥러닝 기반 모델은 특히 CRNN이 시간적 연속성을 잘 포착해 F1‑score에서 규칙 기반(RB)보다 12% 이상 향상되었으며, TCN은 연산 효율성 측면에서 장점을 보였다.

이 논문은 데이터셋 공개와 코드 오픈을 통해 재현성을 확보했으며, 향후 실시간 피드백 시스템, 교사 지원 도구, 그리고 다른 음악 장르로의 확장 가능성을 제시한다. 특히 인도 고전 음악처럼 구두 전통에 의존하는 교육 환경에서, 자동화된 실수 탐지는 학습자의 자기주도 연습 효율을 크게 높일 수 있는 실용적 기술로 평가된다.

**