증거 기반 강화학습으로 경량 LLM을 정신과 진단 인지와 정렬

초록

본 연구는 경량 대형언어모델(LLM)의 정신과 임상 추론을 전문의 사고와 일치시키기 위해 증거 기반 보상모델을 활용한 강화학습 프레임워크 ClinMPO를 제안한다. 4,474편의 정신과 논문에서 구축한 Evidence Dataset을 기반으로 학습한 ClinRM 보상모델이 모델의 추론 과정을 평가·보상하고, 다중 그룹 정책 최적화를 통해 경량 모델(Qwen‑3‑8B)을 인간 의대생(30.8% 정확도)보다 높은 31.4% 진단 정확도를 달성하도록 개선하였다.

상세 분석

ClinMPO는 기존 LLM 정렬 방식이 언어 유창성에만 초점을 맞추는 한계를 극복하고, 임상 현장에서 필수적인 ‘증거 기반 논리’를 모델 내부에 내재시키려는 시도다. 핵심 구성요소는 (1) 전문가가 검증한 18,569개의 증거 항목으로 구성된 Evidence Dataset, (2) 이 데이터를 이용해 독립적으로 학습된 ClinRM 보상모델, (3) 다중 그룹 정책 최적화(GRPO) 방식이다. ClinRM은 생성된 여러 추론 경로를 평가할 때 증상 통합, 장기 경과, 문맥적 요인 등을 고려해 스칼라 점수를 부여하고, 증거와 불일치하거나 논리적 비약이 있는 경우 패널티를 부여한다. 다중 그룹 최적화는 절대 보상이 아닌 동일 그룹 내 후보 간 상대적 어드밴티지를 계산함으로써 과도한 반복이나 스타일 모방을 억제하고, 진정한 임상 판단 패턴을 강화한다.

실험 설계는 두 단계로 나뉜다. 첫째, 공개 의료 데이터셋에서 8,849개의 질문을 추출하고, 대형 파라미터 모델이 일관적으로 실패하는 ‘hard subset’를 선정해 기억 기반이 아닌 추론 능력을 테스트한다. 둘째, 300명의 의대생을 대상으로 동일 테스트를 수행해 인간 기준을 마련한다. 결과는 모델 규모와 관계없이 ClinMPO가 일관된 성능 향상을 보였으며, 특히 8B 파라미터 Qwen‑3 모델은 31.43%의 전체 정확도로 인간 평균(30.84%)을 초과했다. 진단군별(26개 ICD‑11) 및 정신과 실무 역량별(12개) 분석에서도 대부분의 카테고리에서 ClinMPO가 최고 성능을 기록했으며, 특히 ‘정신·행동·신경발달 장애’와 ‘충동조절 장애’ 등 복합적 판단이 요구되는 영역에서 인간을 크게 앞섰다.

오류 전이 분석에서는 ‘false→true’ 전환이 ‘true→false’ 전환보다 현저히 많아, 단순 우연이 아닌 실제 추론 개선이 이루어졌음을 확인한다. 또한, 성능 분포 분석에서 ClinMPO는 중앙값·상위 사분위가 높고 사분위 범위가 좁아, 전반적인 안정성과 일반화 능력이 향상된 것을 보여준다. 이는 경량 모델이 제한된 파라미터 수에도 불구하고 증거 기반 보상과 상대적 정책 최적화를 통해 임상 추론을 체계화할 수 있음을 시사한다.

한계점으로는 Evidence Dataset이 정신과 문헌에 편중되어 있어 다른 의료 분야로의 확장 가능성이 아직 검증되지 않았으며, 보상 모델 자체가 전문가 라벨링에 의존하기 때문에 라벨링 편향이 전이될 위험이 있다. 또한, 31% 수준의 정확도는 아직 임상 적용에 충분히 안전하지 않으며, 실제 환자와의 인터랙션에서 추가적인 안전망과 인간 감독이 필요하다.

전반적으로 ClinMPO는 경량 LLM을 증거 기반 임상 사고와 정렬시키는 새로운 패러다임을 제시하며, 향후 의료 AI의 투명성·안전성·효율성을 동시에 달성할 수 있는 실용적 로드맵을 제공한다.