자동 건강 데이터 모델링을 위한 불확실성 인식 멀티에이전트 시스템 AutoHealth

초록

AutoHealth는 다섯 개의 전문 에이전트가 폐쇄형 피드백 루프를 통해 데이터 탐색, 설계, 코딩, 실행, 보고까지 전 과정을 자동화하고, 예측 정확도와 불확실성 추정 모두를 최적화한다. 17개의 이질적인 의료 과제(표형, 이미지, 시계열, 텍스트, 오디오, 그래프)에서 기존 자동화 도구 대비 예측 성능 29.2%, 불확실성 정밀도 50.2% 향상을 달성하였다.

상세 분석

AutoHealth는 기존 LLM 기반 자동화 시스템이 갖는 세 가지 근본적인 한계를 체계적으로 극복한다. 첫째, 의료 데이터는 모달리티와 형식이 다양하고 결측·노이즈가 많아 단일 파이프라인으로는 충분히 처리하기 어렵다. 이를 해결하기 위해 Data‑Agent는 코드‑구동형 탐색을 수행해 원시 파일을 직접 읽고, 각 모달리티(표형, 시계열, 이미지, 영상‑세그멘테이션, 오디오, 자유 텍스트, 그래프)에 맞는 품질 지표와 특성 요약을 자동 생성한다. 둘째, 기존 시스템은 사전 정의된 템플릿에 의존해 작업‑특화 설계가 제한적이었다. AutoHealth의 Design‑Agent는 메타‑에이전트가 제공한 전역 목표와 Data‑Agent가 만든 데이터 프로파일을 입력으로 받아, 모델 아키텍처, 손실 함수, 샘플링 전략 등을 작업‑조건부로 제안한다. 이 과정에서 이전 라운드의 모델 성능과 피드백을 메모리 형태로 활용해 설계를 점진적으로 개선한다. 셋째, 의료 현장에서 신뢰성은 예측 정확도와 동등하게 중요한데, 기존 자동화 도구는 불확실성 추정을 부수적 기능으로만 제공했다. AutoHealth는 불확실성 정량화를 일차 목표로 설정하고, Coding‑Agent가 베이지안 신경망, 딥 앙상블, 테스트‑타임 데이터 증강 등 다양한 기법을 자동 선택·조합하도록 설계했다. 또한 Report‑Agent는 캘리브레이션 곡선, 신뢰 구간, 이상치 탐지 결과 등을 구조화된 보고서로 정리해 임상의가 결과를 해석하고 위험을 관리할 수 있게 한다. 전체 워크플로는 메타‑에이전트가 주도하는 폐쇄형 루프 형태로, 준비‑계획‑실행‑피드백‑보고의 순환을 통해 각 단계에서 생성된 메타데이터를 다음 단계에 전달한다. 실험에서는 6가지 학습 설정(분류, 회귀, 세그멘테이션, 생존 분석, 시계열 예측, 링크 예측)과 6가지 모달리티를 아우르는 17개의 실제 의료 과제를 구축했으며, AutoHealth는 모든 과제를 성공적으로 완료하고, 베이스라인(예: AutoML‑GPT, DS‑Agent, OpenLens AI 등) 대비 예측 성능을 평균 29.2% 향상시키고, 불확실성 추정 정확도(예: ECE, NLL)에서는 50.2% 개선을 기록했다. 이러한 결과는 멀티에이전트 협업과 불확실성‑우선 최적화가 의료 AI 자동화에 필수적임을 실증한다.