소리를 배우는 영원한 학습기 NELS

본 논문은 인터넷에 급증하고 있는 비디오 기반 오디오 데이터를 자동으로 분석·인덱싱하고, 지속적으로 사운드 인식 모델을 개선하는 시스템인 Never‑Ending Learner of Sounds(NELS)를 제안한다. NELS는 2016년부터 운영되어 현재까지 300시간 이상, 4백만 개의 2.3초 길이 비디오 세그먼트를 수집했으며, 605개의 사운드 이벤트 라벨을 기반으로 600여 개의 음향 어휘를 구축하였다. 시스템은 크게 세 부분으로 구성된다. 첫 번째는 크롤링 모듈이다. 사운드 라벨을 “<라벨> sound” 형태의 키워드로 변환해 유튜브 API(Pafy)를 통해 비디오와 메타데이터를 수집한다. 메타데이터는 제목, 설명, 태그 등 12가지 속성을 포함하며, 2초 이하 혹은 10분 이상인 영상은 잡음 및 처리 비용을 고려해 제외한다. 두 번째는 Hear & Learn 모듈이다. ESC‑50(50클래스, 2,000클립), UrbanSound8K(10클래스, 8,732클립), TUT‑2016(18클래스, 954클립), AudioSet(527클래스, 2.1M클립) 등 네 개의 공개 데이터셋을 활용해 CNN 기반 멀티클래스 분류기를 사전 학습한다. 입력은 44.1 kHz, 16‑bit, mono WAV 파일이며, 60‑멜 밴드 로그‑멜 스펙트로그램을 특징으로 사용한다. 학습된 모델은 크롤링된 무라벨 클립에 적용돼 사운드 라벨 예측값을 생성하고, 이 예측값은 인덱스에 저장된다. NELS는 모델에 종속되지 않으며, 향후 다른 딥러닝 구조나 전이 학습 기법을 손쉽게 교체할 수 있다. 세 번째는 웹 인터페이스 모듈이다. 사용자는 텍스트 쿼리를 입력하면 word2vec·GloVe 임베딩을 이용해 가장 유사한 사운드 라벨을 찾아 해당 라벨이 포함된 클립을 재생한다. 또한, 사용자는 “Correct” 혹은 “Incorrect” 버튼을 눌러 인간 피드백을 제공하고, 이 피드백은 모델 재학습 및 품질 평가에 활용된다. 논문은 NELS가 해결하고자 하는 세 가지 핵심 과제를 제시한다. 첫째, 사운드와 언어의 관계를 탐구한다. 1,000개의 형용‑명사·동사‑명사 쌍을 수집하고, “sound(s) of ” 패턴을 이용해 100,000개 이상의 사운드 라벨을 자동 추출함으로써, 언어적 표현과 실제 음향 이벤트 간의 일관성을 검증한다. 둘째, 연속적인 반지도 학습을 시도한다. US8K 기반 모델을 200 k개의 유튜브 클립으로 자기학습시켰으나, 도메인 불일치와 초기 라벨 편향으로 인해 정밀도 향상이 1.4%에 그쳤다. 이는 웹 오디오의 잡음과 라벨 불확실성이 학습에 큰 영향을 미침을 시사한다. 셋째, 대규모 평가 방법을 모색한다. 메타데이터 기반 검색 쿼리와 인간 라벨을 비교한 결과, 두 평가 지표 간 정밀도 차이가 10% 이하로 일관되어, 메타데이터를 저비용 사전 평가 기준으로 활용할 가능성을 제시한다. 전체적으로 NELS는 24 시간 자동 크롤링, 지속적인 모델 업데이트, 인간 피드백 기반 품질 검증이라는 순환 구조를 구현했으며, 웹 기반 공개 서비스로 실시간 사운드 검색과 학습 현황을 제공한다. 그러나 현재 라벨 수가 600개에 제한되고, 짧은 세그먼트(2.3 초) 중심의 전처리 방식은 복합 사운드 상황을 충분히 포착하지 못한다는 한계가 있다. 향후 멀티라벨 학습, 도메인 적응, 풍부한 온톨로지 연계, 그리고 더 긴 컨텍스트를 고려한 시계열 모델 도입이 필요하다.