의료 언어 임베딩을 통한 지식 전이

본 논문은 의료 분야에서 구조화된 지식 그래프와 비구조화된 임상 텍스트를 통합하여 새로운 개념 간 관계를 예측하는 방법을 제시한다. 연구 배경으로는 과학 문헌과 전자건강기록(EHR)의 급격한 증가로 인해 인간이 직접 탐색하기 어려워진 상황을 들며, 이를 해결하기 위해 분포 의미론에 기반한 임베딩 기법을 활용한다는 점을 강조한다. 모델 설계는 (주제, 관계, 객체) 삼중항을 입력으로 하는 확률 생성 모델이다. 각 CUI는 100차원 벡터 v로 표현되고, 관계 R은 벡터 공간을 변환하는 행렬 G_R으로 모델링된다. 에너지 함수 E(S,R,O)=−‖v_O·G_R c_S‖는 S를 관계 R에 따라 변환한 뒤 O와의 코사인 유사도를 측정한다. 이 에너지 함수를 Boltzmann 분포에 적용해 P(S,R,O)=exp(−E)/Z 형태의 확률을 정의하고, 실제 관측된 삼중항에 대해 최대우도 학습을 수행한다. 파티션 함수 Z는 Persistent Contrastive Divergence(PCD)로 근사한다. 학습에는 Adam 옵티마이저와 L2 정규화가 사용되며, 조기 종료를 위해 검증 셋을 유지한다. 데이터는 두 부분으로 구성된다. 첫 번째는 SemMedDB로, PubMed 초록에서 자동 추출된 CUI‑관계‑CUI 삼중항을 제공한다. 약 8.2 × 10⁷개의 진술 중 1.63 × 10⁷개가 고유하며, 237 269개의 고유 CUI를 포함한다. 두 번째는 Memorial Sloan Kettering Cancer Center에서 수집한 임상 노트로, 총 9.9 × 10⁷개의 문장을 전처리한 뒤 CUI 매칭을 수행해 45 402개의 고유 CUI와 270 100개의 비CUI 토큰을 얻었다. 양쪽 데이터 모두 장기 꼬리 분포를 보이므로 최소 등장 빈도(100회 → 50회) 기준으로 희귀 토큰을 제거하고, 관계는 상위 20개만 남겨 학습 효율성을 높였다. 최종 어휘 집합은 45 586개이며, 이 중 7 510개가 두 데이터 소스에 겹친다. 겹치는 토큰은 임베딩을 일관되게 정렬해 구조화된 지식과 비구조화된 텍스트 사이의 지식 전이를 가능하게 한다. 실험은 세 가지 과제로 나뉜다. 1) 관계 예측(R) 과제: (S,O) 쌍을 입력해 가장 가능성 높은 관계를 선택한다. 모델은 모든 가능한 관계에 대해 순위를 매기고, 평균 역순위(MRR)로 평가한다. 결과는 SemMedDB 예시 수가 증가할수록 MRR이 크게 향상되며, 특히 구조화 데이터와 100 k EHR 데이터를 결합한 bf++ 모델이 최고 성능을 보였다. 2) 엔티티 완성(S, O) 과제: (S,R)→O 혹은 (R,O)→S 형태로, 정답 엔티티에 할당된 확률 질량을 측정한다. 여기서는 EHR 데이터가 적당히 포함될 때(250 k~500 k) 가장 높은 확률 질량을 얻었으며, EHR만 사용한 경우는 무작위 수준에 머물렀다. 3) 지식 전이 과제: SemMedDB에 존재하지 않는 토큰(오직 EHR에만 등장)에게도 관계 연산자를 적용해 예측한다. 이 경우에도 충분한 양의 EHR 데이터가 있으면 모델이 비정형 토큰에 대해 의미 있는 확률 질량을 할당한다는 점을 확인했다. 전체적으로, 관계별 선형 변환을 이용한 임베딩 모델이 구조화된 의료 지식 그래프와 비구조화된 임상 텍스트를 효과적으로 결합할 수 있음을 입증한다. 특히, 관계 연산자를 통해 “관계 전이”가 가능해짐으로써 기존 그래프에 없는 개념 간의 잠재적 연관성을 탐색하는 새로운 방법론을 제공한다. 또한, 데이터 스파시티를 완화하기 위해 오프‑태스크(EHR) 데이터를 적절히 가중치 조절하여 활용하는 전략이 실험적으로 검증되었다. 향후 연구에서는 더 정교한 CUI 매핑 도구(MetaMap 등)나 관계별 비선형 변환을 도입해 모델의 표현력을 확대하고, 실제 임상 의사결정 지원 시스템에 적용하는 방안을 모색할 수 있다.