루마니아 의료 질문응답 벤치마크 MedQARo 발표와 LLM 평가

초록

MedQARo는 루마니아어 암 환자 임상 기록을 기반으로 만든 105,880개의 QA 쌍을 포함한 최초의 대규모 의료 QA 벤치마크이다. 연구팀은 로마니아 전용 LLM(RoLLaMA2‑7B, RoMistral‑7B), 장문 컨텍스트 모델(Phi‑4‑mini‑instruct), 바이오 특화 모델(LLaMA3‑OpenBioLLM‑8B)을 제로샷과 LoRA 기반 파인튜닝 두 방식으로 평가했으며, GPT‑5.2와 Gemini 3 Flash API 모델도 비교했다. 모든 모델은 파인튜닝 시 성능이 크게 향상됐으며, 최종 최고점은 파인튜닝된 RoMistral‑7B가 인‑도메인 테스트에서 F1 0.671을 기록했다. 결과는 루마니아와 같은 저자원 언어에서는 도메인·언어 맞춤 파인튜닝이 필수임을 강조한다.

상세 분석

본 논문은 저자들이 루마니아어 의료 QA 분야에 존재하던 데이터 공백을 메우기 위해 MedQARo라는 대규모 벤치마크를 구축한 과정을 상세히 기술한다. 데이터는 부쿠레슈티 두 의료센터에서 수집된 1,242명의 암 환자(유방암 796명, 폐암 215명, 기타 암 231명) 임상 요약(에픽리시스)을 기반으로, 전문 종양·방사선 종양학자가 3,000시간에 걸쳐 질문‑답변 쌍을 직접 작성한 결과이다. 질문은 키워드 추출형과 복합 추론형으로 구분되며, 총 105,880개의 QA 쌍이 포함된다. 데이터 분할은 환자 수준에서 이루어져 동일 환자의 기록이 학습·검증·테스트에 동시에 등장하지 않도록 설계했으며, 인‑도메인(동일 센터, 동일 암 유형)과 크로스‑도메인(다른 센터, 다른 암 유형) 테스트 셋을 제공한다.

모델 평가에서는 네 가지 오픈소스 LLM을 선택했는데, 두 모델은 로마니아어에 특화된 RoLLaMA2‑7B와 RoMistral‑7B이며, 하나는 장문 컨텍스트를 지원하는 Phi‑4‑mini‑instruct, 마지막은 바이오메디컬 데이터에 사전 학습된 LLaMA3‑OpenBioLLM‑8B이다. 모든 모델은 LoRA( Low‑Rank Adaptation) 방식을 적용해 파라미터의 0.04~0.10%만 업데이트하면서 2 epoch, 배치 사이즈 8, 학습률 2e‑5 등 동일한 하이퍼파라미터 설정으로 파인튜닝했다. 제로샷 실험에서는 다양한 프롬프트 형식을 시험했으며, “질문 + 에픽리시스 + 답변(Q+E+A)” 구조가 “에픽리시스 + 질문 + 답변(E+Q+A)”보다 일관되게 높은 F1·EM·BLEU·METEOR 점수를 기록했다.

성능 평가는 토큰 수준 F1, 정확도(Exact Match), BLEU, METEOR 네 가지 지표를 사용했으며, 특히 루마니아어의 풍부한 형태소와 자유로운 어순을 고려해 METEOR를 강조했다. 결과는 제로샷 모델이 베이스라인(무작위 토큰 선택, 다수 답안)보다 약간 앞서는 정도에 그쳤으며, 파인튜닝된 모델은 모든 지표에서 최소 2배 이상 향상되었다. 특히 파인튜닝된 RoMistral‑7B가 인‑도메인 테스트에서 F1 0.671, EM 0.571을 달성했지만, 크로스‑도메인에서는 F1 0.452 수준으로 급격히 감소해 일반화 한계가 드러났다. API 전용 GPT‑5.2와 Gemini 3 Flash는 제로샷 설정에서 전반적으로 낮은 점수를 보였으며, 파인튜닝된 소형 모델보다 열등했다.

이러한 결과는 (1) 저자원 언어에서는 사전 학습된 대형 모델이라 하더라도 의료 도메인에 대한 직접적인 파인튜닝 없이는 실용적인 성능을 기대하기 어렵다는 점, (2) 언어·도메인 맞춤 파인튜닝이 모델의 정확도와 안전성을 동시에 향상시킨다는 점, (3) 크로스‑도메인 일반화 능력을 강화하기 위해 데이터 다양성 확대와 멀티‑도메인 학습 전략이 필요함을 시사한다. 또한, 질문 형식이 모델의 어텐션 배분에 미치는 영향을 실증적으로 확인함으로써 프롬프트 설계가 성능에 미치는 중요성을 강조한다.