YTEX와 MetaMap 임상 개념 인식 성능 비교

초록

본 연구는 2013년 ShARe/CLEF eHealth Task 1에 참여하기 위해 오픈소스 도구인 MetaMap과 YTEX를 그대로 사용하고, 불필요한 개념을 필터링하고 경계 보정 규칙을 적용한 두 시스템을 구축하였다. 엄격(strict) 과제에서는 MetaMap이 정밀도에서 20 %p 정도 우위에 있어 전체 성능이 더 좋았으며, 완화(relaxed) 과제에서는 YTEX가 정밀도와 재현율 모두에서 MetaMap을 앞서 4.6 %p 높은 F‑Score를 기록하였다. 또한 UMLS CUI 매핑 정확도에서도 YTEX가 1.3 %p 더 높은 결과를 보였다.

상세 분석

이 논문은 임상 텍스트에서 개념을 자동으로 추출하는 두 대표적인 시스템, MetaMap과 YTEX의 실제 적용 가능성을 평가한다. 두 시스템 모두 사전 수정 없이 기본 설정을 사용했으며, 이후에 “stop concept”(불필요하거나 과도하게 일반적인 개념)와 특정 텍스트 패턴을 제거하는 필터링 과정을 거쳤. 또한, 어휘 경계가 주석과 일치하지 않는 경우를 보완하기 위해 ‘LA’, ‘LV’, ‘MCA’ 등 약어와 전치사를 포함하도록 후처리 규칙을 추가하였다.

MetaMap은 UMLS 기반 가중 휴리스틱과 워드 센스 디스앰비규에이션 서버를 활용해 후보 개념을 선택하고, SNOMED CT와 RxNorm만을 대상으로 제한하였다. 반면 YTEX는 cTAKES 기반의 어휘 사전과 Lesk 알고리즘을 이용한 의미 유사도 계산을 수행하며, 기본 윈도우 크기 10과 ‘intrinsic’ 유사도 메트릭을 사용하였다. 두 시스템 모두 연속적인 개념 경계만을 지원하므로, 복합 명사나 약어가 포함된 경우 정확도가 떨어졌다.

실험은 두 단계로 진행되었다. 첫 번째는 ShareClef 데이터셋(훈련·시험)에서 개념 경계 인식(Task 1a)과 CUI 매핑(Task 1b)을 평가했으며, 두 번째는 UAB 병원에서 수집한 PTL(Patient Tracking List) 문서에 대해 별도 평가를 수행하였다. 결과적으로 엄격 모드에서는 MetaMap이 정밀도 0.72, 재현율 0.46, F‑Score 0.56으로 YTEX(정밀도 0.51, 재현율 0.44, F‑Score 0.47)를 앞섰다. 반면 완화 모드에서는 YTEX가 정밀도 0.94, 재현율 0.60, F‑Score 0.73을 기록해 MetaMap(정밀도 0.91, 재현율 0.55, F‑Score 0.69)보다 우수했다. CUI 매핑 정확도에서도 YTEX가 0.41 %p, MetaMap이 0.42 %p를 기록해 미세한 차이를 보였다.

오류 분석에서는 두 시스템 모두 약어 인식 실패와 다의어(폴리세미) 처리 부족이 주요 원인으로 지적되었다. 예를 들어 YTEX는 ‘Dr.’를 당뇨병성 망막증으로 오인했으며, MetaMap은 ‘call’을 ‘c‑ALL’(백혈병)으로 매핑했다. 또한 PTL 데이터는 주석 가이드라인이 가장 구체적인 개념만을 허용하므로, 과도하게 일반적인 개념을 제시하는 YTEX가 상대적으로 낮은 정확도를 보였다.

결론적으로, 즉시 활용 가능한 “off‑the‑shelf” 솔루션으로는 YTEX가 더 높은 포괄성을 제공하지만, 정확한 경계 식별이 중요한 경우 MetaMap이 더 적합하다는 점을 제시한다. 향후 파라미터 튜닝(예: 윈도우 크기 확대, 의미 유사도 메트릭 교체)과 연속/불연속 개념 경계 지원 기능을 추가한다면 두 시스템 모두 성능 향상이 기대된다.