환경소음과 맞춤형 음악의 융합

초록

BNMusic은 사용자가 입력한 텍스트 프롬프트를 기반으로 환경소음에 맞춰 리듬과 스펙트럼을 정렬한 음악을 생성하고, 적응형 증폭을 통해 소음 인지도를 낮추는 두 단계 프레임워크이다. 멜‑스펙트로그램 기반의 아웃페인팅·인페인팅 기법과 청각 마스킹 이론을 결합해 공공 공간에서 소음 감소를 목표한다.

상세 분석

본 논문은 기존의 소음 차단(ANC)이나 단순 마스킹 방식이 개인용 기기에 의존하거나 높은 음량을 요구하는 한계를 지적하고, 환경소음 자체를 음악적 요소로 전환해 인지적 불쾌감을 감소시키는 새로운 과제를 정의한다. 핵심 아이디어는 소음의 고에너지 구역을 멜‑스펙트로그램으로 변환한 뒤, 이 영역을 마스크로 활용해 두 단계의 생성 과정을 수행하는 것이다. 첫 번째 단계에서는 Riffusion 기반의 라티스 디퓨전 모델을 이용해 마스크된 소음 영역을 중심으로 아웃페인팅(주변 영역에 음악을 확장)과 인페인팅(마스크 내부를 음악으로 채우는) 과정을 거쳐, 소음의 리듬과 주파수 패턴을 자연스럽게 흡수한 음악 스펙트로그램을 만든다. 이때 텍스트 프롬프트는 음악의 스타일·장르·감성을 조절하는 조건으로 작용한다. 두 번째 단계에서는 생성된 음악 스펙트럼의 고에너지 구역에만 선택적 증폭을 적용한다. 청각 마스킹 이론에 따르면 마스크가 존재하면 동일 주파수 대역뿐 아니라 인접 대역까지 인지 임계치가 상승하므로, 소음과 정확히 겹치는 부분에만 최소한의 이득을 부여하면 전체 음량을 크게 올리지 않고도 마스킹 효과를 극대화할 수 있다. 실험에서는 EPIC‑SOUNDS와 ESC‑50의 다양한 환경소음을 사용해 객관적 지표(MusicBench)와 주관적 청취 테스트를 수행했으며, 제안 방법이 기존 음악 생성·마스킹 대비 소음 인지도 감소와 청취 만족도에서 유의미하게 우수함을 입증했다. 또한, 모델은 사전 학습된 음악 생성기를 그대로 활용하므로 추가 학습 비용이 거의 들지 않으며, 실시간 적용 가능성을 위한 가속화 방안도 논의된다. 논문의 주요 기여는 (1) 소음‑음악 융합이라는 새로운 멀티모달 생성 과제 정의, (2) 고에너지 소음 구역을 중심으로 한 아웃페인팅·인페인팅 기반 음악 합성 프레임워크, (3) 청각 마스킹 원리를 이용한 선택적 증폭 전략을 제시한 점이다. 이러한 접근은 공공 교통, 가정용 가전, 사무실 등 다양한 소음 환경에서 개인용 헤드폰 없이도 청각적 편안함을 제공할 수 있는 실용적 솔루션으로 기대된다.