호흡음 분석을 위한 트랜스포머와 멀티모달 비전‑언어 모델 적용

초록

본 연구는 호흡음 스펙트로그램에 Audio Spectrogram Transformer(AST)를 적용해 천식 검출 정확도를 97% 수준으로 끌어올렸으며, Moondream 기반 비전‑언어 모델(VLM)을 이용해 스펙트로그램과 환자 메타데이터(성별, 연령, 기록 부위)를 결합한 멀티모달 진단 파이프라인을 제시한다. VLM은 86~87% 정확도를 달성해 기존 CNN(DenseNet201)과 동등한 성능을 보이며, 구조화된 JSON 형태의 진단 결과를 자동으로 출력한다.

상세 분석

이 논문은 두 가지 주요 기술적 기여를 제시한다. 첫째, 기존 호흡음 분석에 주로 사용되던 CNN(DenseNet201) 대비, 이미지‑트랜스포머 기반의 Audio Spectrogram Transformer(AST)를 의료용 호흡음 데이터에 미세조정(fine‑tuning)함으로써 성능 향상을 입증한다. AST는 ImageNet‑사전학습된 ViT 가중치를 초기화하고, AudioSet으로 사전학습된 파라미터를 이어받아 87 M 파라미터 규모의 모델을 구성한다. 데이터가 수백 개의 녹음에 불과한 상황에서 과적합을 방지하기 위해 가중치 감쇠, 그래디언트 클리핑, 조기 종료 등을 적용했으며, 임상적 의미를 손상시킬 수 있는 강도 높은 오디오 증강은 배제했다. 5초 길이의 클립을 사용해 학습 및 평가했으며, 이는 충분한 음향 정보를 제공하면서 학습 샘플 수를 극대화한다. 결과적으로 AST는 “천식 vs 비천식” 이진 분류에서 정확도 97 %, F1 점수 97 %, ROC‑AUC 0.98을 기록, 기존 DenseNet201(≈87 % 정확도) 대비 현저히 높은 성능을 보였다.

둘째, 멀티모달 접근법으로 Moondream2(1.9 B 파라미터) 기반 VLM을 활용했다. 호흡음을 128‑멜, 0‑8 kHz 스펙트로그램으로 변환하고, 서로 다른 윈도우 길이(25 ms, 100 ms, 175 ms)를 RGB 채널에 매핑해 시각 입력을 구성했다. 텍스트 프롬프트에는 환자 성별, 연령, 기록 부위 등 구조화된 메타데이터와 작업 지시문을 포함시켰으며, JSON‑형식의 진단 결과를 출력하도록 설계했다. 파라미터 효율성을 위해 LoRA 어댑터를 도입해 전체 파라미터의 약 3.8 %만 학습 가능하게 하였고, 3 epoch(≈125 배치) 동안 8‑bit Adam 옵티마이저와 코사인 학습률 스케줄을 적용했다. VLM은 86.5 % 정확도와 87.7 % F1 점수를 달성했으며, 메타데이터를 제외하면 성능이 급격히 저하되는 등 텍스트 조건이 모델 안정성에 핵심적임을 확인했다.

전체적으로 본 연구는 (1) 대규모 사전학습된 오디오‑트랜스포머가 제한된 임상 데이터에서도 과적합 없이 높은 일반화 능력을 보임을, (2) 비전‑언어 모델이 음향 신호와 임상 메타데이터를 자연스럽게 결합해 구조화된 진단 정보를 제공할 수 있음을 입증한다. 다만 데이터가 단일 기관에 국한돼 외부 일반화 검증이 부족하고, AST와 VLM 모두 레이블 품질 및 녹음 장비 다양성에 민감할 가능성이 있다. 향후 다기관 데이터셋과 실제 임상 워크플로에의 통합 테스트가 필요하다.