아네스수트: 마취 분야 LLM 추론을 위한 종합 벤치마크와 데이터셋

초록

AnesSuite는 마취학 전용 평가 벤치마크 AnesBench와 지속 사전학습, 지도 미세조정, 검증 가능한 보상을 위한 세 가지 학습 데이터셋을 제공한다. 이를 기반으로 만든 Morpheus 모델은 제한된 SFT와 GRPO 학습만으로도 마취 분야와 일반 의료·다중 도메인 과제에서 기존 대형 모델에 필적하는 성능을 보이며, 모델 규모, CoT 길이, 다언어 전이 등 주요 요인이 성능에 미치는 영향을 상세히 분석한다.

상세 분석

AnesSuite는 마취학이라는 고도로 전문화된 의료 분야에 초점을 맞춘 최초의 데이터셋 스위트로, 세 가지 인지 요구 수준(System 1, System 1.x, System 2)을 명확히 구분한 7,972개의 다국어 MCQ를 포함한 AnesBench를 핵심 벤치마크로 제공한다. 이 구조는 단순 사실 회수부터 복합적인 임상 의사결정까지 LLM의 추론 능력을 단계별로 평가할 수 있게 설계되었다. 특히 System 1.x와 System 2 문제는 전체의 20~30%를 차지해, 기존 의료 벤치마크가 주로 사실 회수에 머무는 한계를 극복한다.

학습 데이터는 세 가지 유형으로 나뉜다. AnesCorpus는 2.4 백만 문서(영·중)로 구성된 대규모 텍스트 컬렉션으로, 지속 사전학습(CPT) 단계에서 도메인 특화 언어 모델링을 가능하게 한다. AnesQA는 20,713개의 영문 QA 페어로, 질문 유형 라벨링을 통해 세부적인 지도 미세조정(SFT)을 지원한다. AnesR1은 10,287개의 검증 가능한 MCQ와 상세한 체인‑오브‑생각(CoT) 주석을 제공, RL with Verifiable Rewards(RLVR)와 같은 강화학습에 직접 활용할 수 있다. CoT 주석은 특히 System 2 과제에서 모델이 단계별 논리를 학습하도록 돕는 핵심 요소이며, 길이가 길수록 성능 향상이 관찰된다.

Morpheus는 Qwen2.5‑7B/14B/32B 모델을 초기화하고, AnesR1을 이용해 SFT와 그룹 상대 정책 최적화(GRPO)를 적용한 결과물이다. 제한된 학습량에도 불구하고, Morpheus는 마취 분야에서 GPT‑4o, Claude‑3.7‑Sonnet 등 최신 상용 모델과 경쟁하는 성능을 보이며, 일반 의료(MedQA, PubMedQA)와 일반 도메인(ARC‑C, MMLU)에서도 일관된 향상을 기록한다. 이는 도메인‑특화 데이터가 모델의 전반적인 추론 능력을 강화한다는 강력한 증거다.

실험 분석에서는 다섯 가지 주요 인사이트가 도출된다. 첫째, 모델 규모가 커질수록 전반적인 정확도는 상승하지만, System 2와 같은 고차원 추론에서는 수익 감소가 뚜렷하다. 둘째, CoT 길이가 성능에 큰 영향을 미치며, 특히 3~4문장 이상의 상세한 논리 흐름이 필요하다. 셋째, 다언어 전이 능력은 여전히 제한적이며, CPT 단계에서의 언어별 데이터 비율 관리가 중요하다. 넷째, 일반 의료 데이터와의 혼합 학습이 도메인 특화 데이터만 사용할 때보다 더 높은 일반화 성능을 제공한다. 다섯째, 데이터 오염 검증을 통해 AnesBench가 기존 모델 학습 데이터와 최소한의 중복을 유지함을 확인했으며, 이는 평가 신뢰성을 높인다.

전체적으로 AnesSuite는 마취학이라는 특수 의료 분야에 맞춘 데이터 수집·주석·평가 파이프라인을 제시함으로써, 향후 의료 LLM 연구에서 도메인‑특화 추론 능력 향상을 위한 표준 베이스라인을 제공한다. 또한 Morpheus는 제한된 리소스로도 높은 수준의 임상 추론을 구현할 수 있음을 보여, 중소 규모 연구팀에게 실용적인 모델 개발 로드맵을 제시한다.