컨볼루션 신경망의 라벨 노이즈 민감도와 정밀 어노테이션 필요성

본 논문은 피아노 음표 전사와 같은 고해상도 오디오 시퀀스 라벨링 작업에서 라벨 정렬 오류가 컨볼루션 신경망(CNN)의 성능에 미치는 영향을 체계적으로 조사한다. 연구자는 라벨 노이즈를 두 가지 유형, 즉 시스템적 오류와 무작위 오류로 구분하고, 각각을 다양한 양자화 함수와 무작위 시프트를 통해 인위적으로 생성한다. 고해상도 MIDI 어노테이션을 저해상도 프레임(31.25 fps와 100 fps)으로 변환할 때, 시작·종료 시점을 반올림(기준 함수 fₐ), 내림(f_b), 올림(f_c), 혹은 0.5 프레임 오프셋을 적용한 함수(f_d) 등 네 가지 시스템적 변형을 만든다. 무작위 오류는 전체 라벨을 ±1 프레임 이동시키는 f_e와 시작·종료 시점을 독립적으로 이동시키는 f_f로 구현한다. 실험에 사용된 CNN은 STFT 후 로그 필터뱅크를 적용한 스펙트로그램 조각을 입력으로 받아 88개의 피아노 음표 존재 여부를 다중 라벨로 예측한다. 프레임 레이트가 낮은 31.25 fps에서는 입력 길이를 맞추기 위해 얕은 네트워크를, 높은 100 fps에서는 더 깊고 넓은 네트워크를 사용했으며, 배치 크기를 128에서 8로 크게 축소해 노이즈가 많은 그래디언트가 평탄한 최소점 탐색에 도움이 된다는 기존 연구를 적용하였다. 데이터는 MAPS 데이터셋을 이용했으며, 두 가지 훈련·검증·테스트 구성(Configuration‑I, Configuration‑II)을 정의하였다. Configuration‑I은 훈련, 검증, 테스트 모두에 동일 악기가 포함되어 데이터 분포가 유사하고, Configuration‑II는 테스트에만 디스크라비어(Disklavier) 녹음이 사용되어 음향 조건이 크게 다르다. 각 구성에서 31.25 fps 모델은 4개의 교차 검증 폴드로, 100 fps 모델은 계산 비용 문제로 1개의 폴드만 사용하였다. 성능 평가는 프레임 단위 정밀도(P), 재현율(R), 그리고 F‑measure를 사용했으며, 라벨 함수별 평균 F‑measure 변화를 관찰하였다. 31.25 fps에서 fₐ 대비 f_b~f_f까지 평균 1~2 % 포인트의 F‑measure 감소가 일관되게 나타났고, 특히 무작위 오차를 포함한 f_e, f_f에서도 비슷한 수준의 성능 저하가 확인되었다. 100 fps에서는 양자화 오차 자체가 작아져 차이가 축소되었지만, 여전히 fₐ와 다른 라벨 함수 사이에 0.5 % 정도의 차이가 존재했다. Configuration‑II에서 f_c(시스템적 오프셋을 1프레임 앞당김)로 학습한 모델이 fₐ 기준 테스트에서 오히려 성능이 상승하는 현상이 관찰되었는데, 이는 원본 MIDI 어노테이션에 미세한 정렬 오류가 존재함을 시사한다. 이는 라벨 정밀도가 모델 성능에 직접적인 영향을 미칠 뿐만 아니라, 데이터 자체의 품질 검증에도 활용될 수 있음을 의미한다. 결론적으로, 논문은 “프레임 단위 라벨링 작업에서 라벨 정렬 오류는 작은 규모라도 CNN의 학습 및 일반화에 실질적인 손실을 초래한다”는 점을 실험적으로 증명한다. 따라서 고해상도 오디오 라벨링을 수행할 때는 어노테이션 툴의 타임스탬프 정확도, 마우스 클릭 지연, 혹은 자동 생성 라벨의 양자화 방식을 엄격히 관리해야 하며, 가능하면 다중 어노테이터의 합의를 통해 라벨 정렬을 보정하는 절차가 필요하다. 또한, 라벨 정밀도가 낮은 경우에는 프레임 레이트를 높이거나, 라벨 양자화 방식을 개선하는 것이 성능 저하를 완화할 수 있다. 향후 연구에서는 인간 어노테이터 간의 의견 차이를 활용한 라벨 정렬 보정 방법과, 라벨 노이즈에 강인한 모델 구조(예: 시간적 컨텍스트를 확대하는 어텐션 기반 구조) 등을 탐색할 필요가 있다.