전문의가 만든 의료 멀티모달 인컨텍스트 학습 벤치마크 SMMILE

초록

SMMILE는 11명의 의료 전문가가 직접 설계한 111개의 멀티모달 질문‑이미지‑답변 트리플을 포함한 최초의 의료 인컨텍스트 학습 벤치마크이다. 6개 전문 분야·13가지 영상 modality를 아우르며, 각 문제는 다수의 인컨텍스트 예시와 최종 질의를 제공한다. 15개의 최신 멀티모달 대형 언어 모델(MLLM)을 평가한 결과, 대부분의 모델이 인컨텍스트 학습에서 제한적인 성능 향상(평균 8 %)만 보였으며, 부적절한 예시 하나만으로도 성능이 최대 9.5 % 감소한다. 또한 가장 관련된 예시를 마지막에 배치하면 최대 71 %까지 정확도가 상승하는 ‘최근성 편향’ 현상이 관찰되었다.

상세 분석

SMMILE는 기존 의료 VQA 벤치마크와 차별화되는 두 가지 핵심 설계 원칙을 갖는다. 첫째, 인컨텍스트 예시가 무작위가 아니라 전문가가 직접 설계한 ‘작업 시연’ 형태라는 점이다. 이는 모델이 단순히 데이터 분포를 학습하는 것이 아니라, 실제 임상 현장에서 의사가 사례를 통해 새로운 문제를 해결하는 방식을 모방한다는 의미다. 둘째, 문제당 평균 3.65개의 예시(최소 2개, 최대 19개)를 제공함으로써 ‘예시 선택’과 ‘예시 순서’가 모델 성능에 미치는 영향을 정량적으로 분석할 수 있게 했다.

실험에서는 15개의 MLLM을 두 가지 평가 방식—오픈엔드(자유 텍스트 생성)와 클로즈드엔드(다중 선택)—으로 테스트했다. 자동 평가지표는 Exact Match와 LLM‑as‑a‑Judge(LLama 3.3 70B 기반)이며, 인간 전문가 5명이 독립적으로 정답 여부를 검증했다. 결과는 다음과 같다.

1. 인컨텍스트 학습 효용성: 전체 모델 평균 8 % 절대적, 31 % 상대적 성능 향상이었지만, 7개 모델은 랜덤 베이스라인(27.86 %)보다 낮은 점수를 기록했다. 특히 도메인 특화 모델인 LLaVA‑Med‑7B는 인컨텍스트 적용 시 정확도가 21.65 %→10.19 %로 급감했다. 이는 현재 멀티모달 모델이 ‘예시를 학습’하는 메커니즘이 충분히 발달되지 않았음을 시사한다.

2. 최고 성능 모델: GPT‑4o와 Qwen2.5‑VL‑72B가 각각 49.88 %와 42.59 %의 오픈엔드 정확도를 보이며, 특히 GPT‑4o는 클로즈드엔드에서도 58.85 %로 가장 우수했다. 이는 대규모 폐쇄형 모델이 멀티모달 인컨텍스트 학습에 상대적으로 유리함을 암시한다.

3. 예시 품질·순서 민감도: ‘노이즈 예시’ 한 개만 삽입해도 최대 9.5 % 정확도 저하가 발생했으며, 가장 관련된 예시를 마지막에 배치했을 때는 정확도가 최대 71 %까지 상승했다. 이는 모델이 입력 시퀀스의 ‘최근성’에 과도하게 의존한다는 ‘recency bias’를 드러낸다.

4. 데이터 다양성: 6개 전문 분야(방사선, 일반내과, 병리학 등)와 13가지 영상(modality) (X‑ray, CT, MRI, 초음파 등)를 포괄함으로써, 모델이 특정 도메인에 편향되지 않고 전반적인 의료 멀티모달 능력을 평가할 수 있다. 또한 1/3 이상의 문제는 ‘희귀 사례’로 라벨링돼 실제 임상에서의 일반화 가능성을 검증한다.

5. SMMILE++: 원본 문제의 인컨텍스트 예시 순서를 4! 이하로 제한해 1,038개의 변형 문제를 생성, 순서 효과를 보다 정밀히 측정할 수 있게 했다. 이 확장 데이터셋은 향후 모델 튜닝 및 프롬프트 엔지니어링 연구에 활용될 전망이다.

전반적으로 이 연구는 멀티모달 의료 인컨텍스트 학습이 아직 초기 단계이며, 모델이 ‘예시를 이해하고 적용’하는 능력이 제한적임을 명확히 보여준다. 향후 연구는 (1) 예시 선택 알고리즘 개발, (2) 최근성 편향 완화 메커니즘, (3) 도메인 특화 사전학습과 인컨텍스트 학습의 시너지 효과 탐색 등에 초점을 맞춰야 할 것이다.