Resp Agent 멀티모달 호흡음 생성·진단 에이전트 시스템

초록

Resp-Agent는 진단 약점 탐지를 통해 목표형 합성 데이터를 자동 생성하는 Thinker‑A²CA 라는 활성 적대적 커리큘럼 에이전트를 중심으로, 임상 전자건강기록(EHR)과 호흡음 토큰을 전략적 전역 어텐션과 희소 오디오 앵커로 결합한 Modality‑Weaving Diagnoser를 제시한다. 또한 텍스트‑전용 대형 언어 모델을 모달리티 주입으로 변형한 Flow Matching Generator가 병리 내용과 음향 스타일을 분리해 어려운 사례를 합성한다. 229k 녹음과 LLM‑추출 임상 서술을 포함한 Resp‑229k 데이터셋을 기반으로, 데이터 부족·클래스 불균형 상황에서도 기존 방법보다 진단 정확도와 견고성을 크게 향상시킨다.

상세 분석

Resp-Agent는 기존 호흡음 진단 파이프라인이 갖는 두 가지 근본적 한계—스펙트로그램 변환 시 일시적 음향 이벤트와 임상 맥락이 손실되는 정보 손실, 그리고 심각한 클래스 불균형으로 인한 데이터 부족—를 동시에 해결하기 위해 에이전트 기반의 폐쇄형 학습 루프를 설계하였다. 핵심 제어 모듈인 Thinker‑A²CA(Active Adversarial Curriculum Agent)는 진단 모델의 오류 패턴을 실시간으로 모니터링하고, 약점이 드러난 클래스·증상 조합에 대해 목표형 합성 작업을 스케줄링한다. 이를 위해 Thinker‑A²CA는 (1) 현재 진단 모델의 손실 그래디언트를 분석해 “hard‑to‑classify” 영역을 식별하고, (2) 해당 영역에 특화된 합성 샘플을 생성하도록 Flow Matching Generator에 명령을 전달한다. 이 과정은 적대적 학습과 커리큘럼 학습을 동시에 수행해, 합성 데이터가 단순히 무작위가 아니라 진단 모델의 약점을 직접 보완하도록 만든다.
Modality‑Weaving Diagnoser는 오디오 토큰과 전자건강기록(EHR) 텍스트를 하나의 시퀀스로 직렬화한 뒤, Strategic Global Attention을 적용해 전체 시퀀스에 걸친 장기 의존성을 포착한다. 특히 “sparse audio anchors”라는 메커니즘을 도입해, 밀리초 수준의 급격한 음향 변화를 별도의 앵커 토큰으로 표시함으로써, 전통적인 Transformer가 놓치기 쉬운 순간적인 청진 신호를 정확히 모델링한다. 이 설계는 임상 메타데이터(연령, 흡연력, 기존 질환 등)와 호흡음의 미세 파형을 동시에 고려해, 기존 단일 모달리티 모델보다 높은 진단 정확도와 해석 가능성을 제공한다.
Flow Matching Generator는 텍스트‑전용 LLM을 기반으로 하면서, “modality injection” 레이어를 삽입해 텍스트 입력(예: “폐렴 환자의 흉부 청진 소리”)을 음향 스타일(예: 잡음 수준, 마이크 특성)과 분리한다. 학습 단계에서는 실제 호흡음과 대응되는 임상 서술을 쌍으로 사용해, 텍스트에서 병리적 의미를 추출하고 이를 오디오 토큰 공간에 매핑한다. 이후 Flow Matching 기법을 이용해 연속적인 확률 흐름을 정의함으로써, 고품질의 연속형 오디오 샘플을 샘플링한다. 이때 생성된 샘플은 Thinker‑A²CA가 지정한 “hard” 영역에 맞춰 조정되므로, 데이터 불균형을 효과적으로 완화한다.
Resp‑229k 데이터셋은 229,000개의 고해상도 호흡음 녹음과, 각각에 대해 LLM이 자동 요약한 임상 서술을 포함한다. 라벨은 27개의 호흡기 질환 및 정상 상태로 구성돼, 장기적인 클래스 불균형을 그대로 반영한다. 실험에서는 (i) 전체 데이터 사용 시, (ii) 10%·5%·1% 샘플만 사용한 극단적 데이터 부족 상황, (iii) 라벨별 균형을 맞춘 오버샘플링 대비 등 4가지 설정에서 기존 CNN‑기반, Transformer‑기반, 그리고 최신 멀티모달 베이스라인과 비교했다. 모든 설정에서 Resp‑Agent는 평균 4.2%~7.8%의 정확도 상승을 기록했으며, 특히 소수 클래스(예: 결핵, 폐섬유증)에서 F1 점수가 15% 이상 개선되었다. Ablation 연구를 통해 Thinker‑A²CA 없이 단순 합성만 적용했을 때 성능 저하가 확인되었고, Sparse Audio Anchors를 제거하면 순간적 청진 이벤트 인식이 크게 감소함을 보여준다.
이러한 설계는 “진단‑생성‑피드백” 순환 구조를 통해, 데이터가 부족한 의료 분야에서 합성 데이터를 효율적으로 활용하고, 모델이 실제 임상 현장에서 마주할 어려운 케이스에 대비하도록 만든다. 다만 현재는 호흡음 외의 다른 생리 신호(예: 심전도)와의 확장성 검증이 부족하고, LLM 기반 서술 생성 과정에서 발생할 수 있는 임상 오류에 대한 검증 절차가 필요하다.