RiskAgent 검증된 임상 도구와 LLM을 결합한 증거 기반 위험 예측 시스템

초록

RiskAgent는 대형 언어 모델(LLM)에 수백 개의 검증된 임상 계산 도구를 연동해 위험 예측 정확도를 크게 높인 다중 에이전트 프레임워크이다. 자체 구축한 MedRisk 벤치마크(12,352 사례, 154 질병)에서 8 B 파라미터 모델임에도 불구하고 GPT‑4o, o1, Meditron‑70B 등을 크게 앞서며, 도구 활용을 통해 근거 기반 답변과 Hallucination 억제를 동시에 달성한다.

상세 분석

RiskAgent는 ‘Decider‑Executor‑Reviewer’라는 세 개의 LLM 에이전트와 외부 ‘Environment’ 모듈로 구성된 멀티‑에이전트 시스템이다. Decider는 입력된 환자 기록을 분석해 적절한 임상 도구(예: CHA₂DS₂‑VASc, CURB‑65, Framingham 위험 점수 등)를 선택하고, 필요한 파라미터를 추출한다. Executor는 선택된 도구의 API 혹은 로컬 구현을 호출해 정확한 수치 결과를 얻으며, 반환된 값은 Decider에게 다시 전달돼 최종 진단·위험 점수로 통합된다. Reviewer는 전체 프로세스를 검증하고, 도구 사용 근거와 함께 최종 답변을 포맷한다. 이러한 구조는 파라미터 기반 계산을 모델 내부에 내재시키는 대신 외부 검증된 도구에 위임함으로써, 모델 자체의 ‘Hallucination’ 위험을 현저히 감소시킨다.

학습 측면에서는 8 B 파라미터 LLaMA 기반 모델을 사전 학습된 의료 데이터와 함께 instruction‑tuning 하였으며, 도구 선택과 파라미터 파싱을 위한 특수 프롬프트 템플릿을 설계했다. 훈련 데이터는 실제 전자건강기록(EHR)에서 추출한 위험 예측 질문과 정답, 그리고 각 도구의 사용 매뉴얼을 포함한다. 강화학습(RLHF) 기반 피드백을 통해 Decider가 도구 선택 정확도를 93 % 이상으로 끌어올렸다.

평가에서는 새로 구축한 MedRisk 벤치마크와 기존의 MedQA, MedMCQA, MMLU 세 가지 의료 QA 데이터셋을 사용했다. MedRisk은 질병·증상·전문의·기관계 4차원에서 균형 있게 샘플링된 12,352개의 위험 예측 질문을 포함한다. RiskAgent는 평균 정확도 78.4 %를 기록했으며, 이는 GPT‑4o(62.1 %), o1(58.7 %), Meditron‑70B(65.3 %)를 크게 앞선 수치다. 특히 도구 기반 예측이 필요한 심혈관 위험, 암 발생 위험, 천식 악화 위험 등 복합 상황에서 성능 격차가 15 ~ 20 %포인트에 달한다. 통계적 유의성 검증(t‑test, p < 0.01)도 모두 만족한다.

또한 외부 MedCalc‑Bench 데이터셋에 대한 ‘tool learning’ 전이 실험에서, 사전 학습된 도구 호출 능력이 0‑shot 상황에서도 85 % 이상의 성공률을 보이며, 기존 LLM이 도구 사용을 전혀 못하는 경우와 대비해 실용성을 크게 증명했다. 질문‑답변 단계에서는 RiskAgent가 제공한 근거(도구 이름·버전·계산식)와 함께 답변을 제시함으로써, 임상의가 결과를 검증하고 신뢰성을 판단할 수 있게 했다.

한계점으로는 도구 레퍼런스가 최신 가이드라인에 맞춰 지속적으로 업데이트돼야 한다는 점, 그리고 현재는 주로 정량적 위험 점수 계산에 초점을 맞추어 질적 판단(예: 치료 옵션 선택)에는 적용 범위가 제한적이라는 점을 들 수 있다. 향후에는 치료 권고 시스템과 연계하고, 도구 메타데이터 자동 업데이트 파이프라인을 구축해 실시간 임상 적용성을 높일 계획이다.