노이즈 환경에 강인한 중립성 기반 합성곱 신경망 모델

초록

본 연구는 스펙트로그램과 그에 대응하는 불확실성 행렬을 동시에 입력으로 사용하는 이중 경로 CNN(NCNN)을 제안한다. 불확실성은 중립성(Neutrosophic) 이론을 통해 시간‑주파수 픽셀 수준에서 정의되며, 두 경로의 특징을 결합해 최종 분류를 수행한다. Aurora‑2 데이터셋의 격리 단어 인식 실험에서 기존 CNN 대비 테스트 셋 A, B, C에서 각각 6%, 5%, 2%의 정확도 향상을 보이며, 차량, 공항, 지하철 잡음에 대한 강인성을 입증하였다.

상세 분석

본 논문은 딥러닝 기반 음성 인식 시스템이 테스트 단계에서 마주치는 비정형 잡음에 취약한 점을 보완하기 위해 ‘중립성(Neutrosophy)’ 개념을 도입한 새로운 CNN 구조인 NCNN을 설계하였다. 먼저 입력 음성 신호를 단시간 푸리에 변환(STFT)으로 변환해 스펙트로그램을 얻고, 각 시간‑주파수 셀에 대해 중립성 이론의 세 가지 성분인 진리(T), 허위(F), 불확실성(I)를 계산한다. 여기서 I값을 불확실성 행렬로 추출해 스펙트로그램과 동일한 차원으로 만든다. 이 두 행렬은 각각 별도의 CNN 파이프라인에 투입되며, 첫 번째 파이프라인은 전통적인 스펙트로그램 특징을 학습하고, 두 번째 파이프라인은 잡음에 의해 발생한 불확실성을 학습한다. 두 파이프라인은 동일한 구조(컨볼루션‑풀링‑배치 정규화‑ReLU)로 설계되었고, 최종 전결합 층에서 특징 맵을 결합해 클래스 확률을 산출한다. 이러한 설계는 잡음이 강하게 작용하는 영역에서 불확실성 정보를 별도로 학습함으로써, 전통적인 CNN이 잡음에 의해 왜곡된 특징을 그대로 전달받는 문제를 완화한다. 실험은 Aurora‑2 데이터셋의 격리 단어 인식 과제에 적용했으며, 훈련 데이터에 인위적 잡음을 추가한 ‘노이즈 트레인’ 환경에서 평균 정확도 85.96%를 달성하였다. 테스트 셋 A(자동차 잡음), B(공항 잡음), C(지하철 잡음)에서는 각각 90%, 88%, 81%의 정확도를 기록했으며, 이는 기존 CNN 대비 각각 6%, 5%, 2%의 절대적 향상이다. 특히, 잡음 유형이 훈련 단계와 다를 때도 불확실성 경로가 잡음 특성을 보완해 전반적인 강인성을 유지한다는 점이 주목할 만하다. 논문은 또한 중립성 기반 불확실성 정의가 이미지 처리 분야에서 활용된 선행 연구와 유사하지만, 시간‑주파수 도메인에 적용함으로써 음성 신호 특성에 맞는 새로운 해석을 제공한다는 점을 강조한다. 한계점으로는 불확실성 행렬을 계산하는 추가 연산 비용과, 두 경로를 동시에 학습시키는 메모리 요구량이 증가한다는 점이 제시되었으며, 향후 경량화 모델이나 실시간 적용을 위한 최적화 방안이 필요함을 언급한다.