IoT용 경량 바이오음향 인코더

초록

BioME는 자기지도 학습 기반의 대형 오디오 인코더를 레이어‑투‑레이어 지식 증류와 FiLM 기반 변조 스펙트럼 특징 결합으로 75 % 경량화한 모델이다. 다중 도메인(음성·환경음·동물소리) 데이터로 사전학습하고, 변조‑인식 특성을 층별로 주입해 저용량에서도 생물음향 분류·검출 성능을 대형 교사 모델과 동등하거나 상회하도록 설계하였다.

상세 분석

BioME는 기존 BEATs·AVES와 같은 90 M 파라미터 규모의 SSL 오디오 인코더가 IoT 엣지 디바이스에 적용하기 어려운 문제를 해결하고자 설계되었다. 핵심 아이디어는 (1) 고성능 교사 모델과 동일한 깊이(12 층)를 유지하되, 각 층의 차원을 축소해 파라미터를 75 % 감소시키는 레이어‑투‑레이어 지식 증류이며, (2) 변조 스펙트럼(Modulation Spectrum)에서 추출한 평균 밴드(MSAB) 특징을 FiLM(Feature‑wise Linear Modulation) 방식으로 각 트랜스포머 층에 조건화시켜 DSP‑영향 인덕티브 바이어스를 주입하는 것이다.

증류 과정에서는 교사와 학생의 중간 표현을 K={3,6,9,12} 층에서 정렬하고, 차원 불일치를 선형 프로젝션으로 보정한다. 이를 통해 학생 모델이 교사의 고차원 특성을 효율적으로 모방하면서도 연산량을 크게 줄일 수 있다.

입력 전처리는 멜‑스펙트로그램을 16×16 패치로 분할하고, 패치 임베딩을 트랜스포머에 공급한다. 트랜스포머 내부에서는 (a) 그룹드 쿼리 어텐션(GQA)으로 키‑밸류 파라미터를 공유해 메모리 사용을 최소화하고, (b) 로터리 포지션 임베딩(RoPE)으로 별도 위치 임베딩 없이 순차 정보를 인코딩한다. 활성화 함수는 SiLU, 정규화는 RMSNorm을 채택해 저용량 환경에서도 학습 안정성을 확보한다.

변조 특징은 전체 스펙트로그램에 FFT를 적용해 2‑D 변조 스펙트럼을 만든 뒤, 축별 평균을 취해 512‑차원 MSAB 벡터를 생성한다. 이 벡터는 FiLM 레이어에서 스케일 γ와 시프트 β를 계산해 패치 임베딩에 곱·덧셈 형태로 적용한다. FiLM은 크로스‑어텐션보다 파라미터가 적고, 변조 정보를 고수준 특징에 직접 반영함으로써 환경 잡음과 같은 불필요한 변동을 억제한다.

학습 데이터는 BioAudioSet(4 620 h), FSD50K(80 h), VGGSound(506 h), iNatSounds(766 h) 등 총 5 200 시간 이상의 멀티도메인 코퍼스로 구성되었다. 사전학습 후에는 BEANS 벤치마크의 10개 생물음향 과제와 비벌레(bee) 모니터링 과제에 파인튜닝했다. 결과는 (i) 전체 평균 정확도와 F1 점수에서 교사 모델을 근소하게 상회하거나 동등한 수준을 달성했으며, (ii) 파라미터와 FLOPs가 4배 이하로 감소해 실시간 추론이 가능한 수준을 확인했다.

Ablation 실험에서는 (1) FiLM 없이 단순 어텐션만 사용했을 때 성능이 2–3 % 감소하고, (2) 변조 특징을 제외하고 일반 멜‑패치만 사용했을 때도 유사한 손실이 발생함을 보여 변조‑인식 바이어스의 중요성을 입증했다. 또한 GQA와 RoPE를 제거하면 메모리 사용량은 늘어나지만 정확도 차이는 미미해, 저용량 디바이스에 맞춘 설계 선택임을 강조한다.

한계점으로는 (a) 변조 스펙트럼 계산 자체가 추가 전처리 비용을 요구하고, (b) 현재는 12 층 구조에 고정돼 있어 더 얕은 모델에 대한 증류 효율은 미확인이며, (c) 특정 초저전력 마이크로컨트롤러에서는 여전히 메모리 제한에 부딪힐 수 있다. 향후 연구에서는 변조 특징을 경량화된 신경망으로 직접 추출하거나, 교사‑학생 구조를 비대칭적으로 설계해 초소형 디바이스에서도 적용 가능하도록 확장할 계획이다.