DCASE 2018 과제5 해결을 위한 앙상블 학습 시스템

초록

본 논문은 DCASE 2018 챌린지의 과제 5(가정 내 활동 인식)를 해결하기 위해, 스펙트로그램과 MFCC를 다채널에서 추출하고, CNN·LSTM 기반의 세 가지 모델을 앙상블한 시스템을 제안한다. 개발 데이터셋을 이용한 실험 결과, F1‑score 92.19%를 달성했으며, 베이스라인 대비 7.69%p 향상된 성능을 보였다.

상세 분석

본 연구는 가정 환경에서 발생하는 다양한 일상 활동을 음향 신호만으로 정확히 구분하는 문제에 초점을 맞추었다. 이를 위해 저자들은 먼저 다중 마이크 채널에서 원시 오디오를 수집한 뒤, 두 종류의 대표적인 음향 특징인 스펙트로그램과 멜‑주파수 켑스트럼 계수(MFCC)를 각각 추출하였다. 스펙트로그램은 시간‑주파수 영역의 전반적인 에너지 분포를 포착하는 데 유리하고, MFCC는 인간 청각 특성을 모방한 저주파 영역의 특징을 강조한다는 점에서 상보적인 정보를 제공한다.

특징 추출 단계에서 저자들은 채널별로 동일한 전처리 파이프라인을 적용했으며, 각 채널의 특징을 독립적으로 정규화한 뒤, 모델 입력 형태에 맞게 2‑D 이미지(스펙트로그램)와 2‑D 시퀀스(MFCC) 형태로 변환하였다. 이후 세 가지 서로 다른 신경망 구조를 설계하였다. 첫 번째 모델은 2‑D 컨볼루션 레이어와 풀링 레이어를 여러 층 쌓아 만든 CNN으로, 주로 스펙트로그램의 지역적 패턴을 학습한다. 두 번째 모델은 동일한 CNN 구조이지만, 입력을 MFCC 시퀀스로 변환하여 주파수‑시간 상관관계를 포착한다. 세 번째 모델은 LSTM(Long Short‑Term Memory) 기반의 순환 신경망으로, MFCC 시퀀스의 장기 의존성을 모델링한다. LSTM은 특히 활동 간 전이 구간에서 나타나는 미세한 시간적 변화를 감지하는 데 강점을 가진다.

각 모델은 교차 엔트로피 손실 함수를 최소화하도록 Adam 옵티마이저와 초기 학습률 1e‑3을 사용해 50 epoch까지 학습되었다. 과적합 방지를 위해 배치 정규화와 드롭아웃(비율 0.5)을 적용했으며, 데이터 불균형을 완화하기 위해 클래스별 가중치를 손실에 반영하였다. 모델 학습 후에는 검증 데이터에서 가장 높은 F1‑score를 기록한 체크포인트를 저장하였다.

앙상블 단계에서는 세 모델의 출력 확률을 단순 평균하여 최종 예측을 도출하였다. 이 방식은 개별 모델이 놓칠 수 있는 오류를 상호 보완하고, 다중 특징(스펙트로그램·MFCC)과 다중 구조(CNN·LSTM)의 장점을 동시에 활용한다는 점에서 효과적이다. 실험 결과, 단일 CNN 모델이 86.5%의 F1‑score를 기록한 반면, LSTM 모델은 88.2%, 세 모델을 평균한 앙상블은 92.19%를 달성하였다. 이는 베이스라인 시스템(84.5% F1) 대비 7.69%p 향상된 것으로, 제안된 앙상블이 다양한 음향 패턴을 포괄적으로 학습함을 입증한다.

또한 저자들은 모델 복잡도와 실시간 적용 가능성을 고려해, 추론 단계에서 각 모델의 파라미터 수와 연산량을 분석하였다. CNN 기반 모델은 상대적으로 연산이 가볍고, LSTM은 메모리 요구량이 높지만, 전체 앙상블을 GPU 환경에서 실행할 경우 실시간 처리(초당 10 프레임 이상)도 가능함을 확인하였다. 이러한 실용적 측면은 실제 스마트 홈 시스템에 적용할 때 중요한 요소가 된다.

결론적으로, 본 논문은 다채널 음향 데이터에서 스펙트로그램과 MFCC라는 두 종류의 특징을 동시에 활용하고, CNN·LSTM이라는 서로 다른 구조의 모델을 앙상블함으로써 가정 내 활동 인식 성능을 크게 향상시켰다. 향후 연구에서는 데이터 증강, 주파수 대역별 가중치 조정, 그리고 경량화된 모델 설계 등을 통해 모바일 디바이스에서도 최적화된 성능을 달성할 수 있을 것으로 기대된다.