다중턴 의료 진단을 위한 자기진화 에이전트 EvoClinician과 Med‑Inquire 벤치마크

초록

본 논문은 기존 “한 번에 전체 환자 정보를 제공하는” 의료 AI의 한계를 지적하고, 실제 임상 현장을 모사한 다중턴 진단 벤치마크 Med‑Inquire를 제안한다. Med‑Inquire는 환자와 검사 에이전트를 통해 정보를 단계별로 공개하도록 설계되어, 진단 정확도와 자원(시간·비용) 효율성을 동시에 평가한다. 이를 해결하기 위해 저자들은 Diagnose‑Grade‑Evolve 루프를 갖는 자기진화 에이전트 EvoClinician을 개발하였다. EvoClinician은 진단(Actor), 행동 평가(Grader), 프롬프트·메모리 진화(Evolver) 세 모듈로 구성되며, 테스트 시점에 각 케이스에서 얻은 행동‑레벨 피드백을 활용해 프롬프트 규칙과 외부 메모리를 업데이트한다. 실험 결과, EvoClinician은 기존 지속학습 및 메모리 기반 베이스라인보다 진단 정확도와 비용 효율성 모두에서 우수함을 보였다.

상세 분석

EvoClinician 논문은 의료 AI 연구에서 가장 간과된 “진단 과정 자체”를 정량화하고 최적화하려는 시도로 눈길을 끈다. 첫 번째 핵심은 Med‑Inquire 벤치마크이다. 기존 의료 LLM 평가는 정답 라벨이 붙은 완전한 환자 기록을 입력으로 받아 한 번에 진단을 출력하도록 설계돼, 실제 임상의가 “무엇을 물어볼지, 어떤 검사를 주문할지”를 고민하는 과정을 전혀 반영하지 못한다. Med‑Inquire는 환자 파일을 Patient Agent와 Examination Agent 뒤에 숨겨, 에이전트가 질문·검사·진단을 순차적으로 수행하도록 강제한다. 이때 각 행동마다 비용을 부여해, 진단 정확도 외에도 “몇 번의 질문·검사로 목표에 도달했는가”를 측정한다. 비용 모델은 기본 턴당 비용과 검사별 비용을 합산해 총 Encounter Cost C를 산출한다. 또한 Judge Agent가 0‑100 점수의 graded correctness를 제공해, 부분 일치까지 세밀히 평가한다. 이렇게 설계된 환경은 POMDP 형태의 부분관측 마코프 결정 과정으로 모델링될 수 있어, 강화학습·계획 수립 연구와도 자연스럽게 연결된다.

두 번째 핵심은 EvoClinician 자체의 구조다. “Diagnose‑Grade‑Evolve” 루프는 다음과 같이 동작한다. ① Diagnose 단계에서 Actor는 현재 프롬프트와 메모리를 기반으로 환자와 대화하고, 질문·검사·진단을 수행한다. ② Grade 단계에서는 Process Grader가 전체 대화 로그와 최종 점수·비용을 분석해, 각 행동에 HIGH YIELD, LOW YIELD, INEFFICIENT, CRITICAL ERROR 등 라벨과 이유를 부여한다. 이는 전통적인 강화학습에서 흔히 겪는 “희소 보상” 문제를 해결하고, 행동‑레벨 신용 할당을 가능하게 한다. ③ Evolve 단계에서는 Evolver가 이 라벨을 활용해 두 가지 진화 전략을 수행한다. 첫째, Prompt Evolution은 고수익 행동을 추상화해 새로운 규칙(예: “두피 혹은 종양이 있을 경우 출생 시점 여부를 묻는다”)을 프롬프트에 삽입하고, 비효율적·오류 행동은 금지 규칙으로 추가한다. 둘째, Memory Evolution은 행동‑컨텍스트‑결과‑라벨을 메모리 엔트리로 저장하고, 향후 유사 상황에서 Retrieval‑Augmented Generation 형태로 재활용한다. 이 과정은 gradient‑free이며, LLM 자체를 재학습시키는 것이 아니라 프롬프트와 외부 메모리를 조정한다는 점에서 효율적이다.

실험 설계는 Med‑Inquire의 1,000여 개 실제 임상 케이스를 사용했으며, 비교 대상은 (1) 정적 프롬프트 기반 베이스라인, (2) 메모리 에이전트(Mem0 등), (3) 자동 프롬프트 최적화 기법(Prompt‑Breeder 등), (4) 지속학습(continual learning) 방법이다. 결과는 EvoClinician이 평균 진단 점수에서 6‑8 % 상승하고, 평균 비용은 12‑15 % 감소함을 보여준다. 특히 고수익 행동을 프롬프트에 일반화함으로써 초기 단계에서도 효율적인 질문 전략을 빠르게 습득한다는 점이 주목할 만하다. 또한, 메모리 재활용을 통해 동일 질환군에서 반복 학습 효과가 나타났으며, 이는 “경험 기반 규칙”과 “사전 지식”이 결합된 하이브리드 학습 형태로 해석될 수 있다.

한계점도 명확히 제시한다. 첫째, 비용 모델이 고정된 테이블에 의존해 실제 의료 시스템의 복잡한 보험·지역 차이를 완전히 반영하지 못한다. 둘째, Process Grader가 인간 전문가가 만든 규칙 기반 라벨링에 의존하므로, 라벨링 편향이 시스템 전반에 전이될 위험이 있다. 셋째, 프롬프트 진화가 규칙 기반이기에 과도한 규칙 축적 시 프롬프트가 비대해져 LLM 입력 길이 제한에 걸릴 수 있다. 마지막으로, 테스트‑타임 학습이 케이스 간 독립성을 가정하므로, 장기적인 환자 추적이나 누적 데이터 학습에는 아직 미흡하다. 향후 연구에서는 비용 모델을 동적·시뮬레이션 기반으로 확장하고, Grader를 LLM 기반 메타‑리워드 생성기로 교체해 라벨링 편향을 감소시키며, 프롬프트 압축 및 선택적 규칙 적용 기법을 도입해 스케일러빌리티를 확보할 필요가 있다.

전반적으로 이 논문은 “진단 과정 자체를 학습 대상”으로 삼는 새로운 패러다임을 제시하고, 멀티‑에이전트·프롬프트·메모리 진화를 결합한 구조가 실제 의료 AI에 적용 가능함을 실증한다. 향후 의료 외에도 고객 서비스, 금융 리스크 관리 등 장기 의사결정이 요구되는 도메인에 동일한 프레임워크를 적용할 수 있다는 점에서 학문적·산업적 파급력이 크다.