MeSH‑gram: MeSH 기반 의미유사도 향상을 위한 새로운 Skip‑gram 확장 모델

초록

MeSH‑gram은 기존 Skip‑gram 모델을 변형하여 단어 대신 MeSH(Medical Subject Headings) 용어를 컨텍스트로 사용한다. PubMed MEDLINE 코퍼스로 학습한 뒤, 인간이 평가한 의미유사도 데이터셋과 비교 실험을 진행했으며, Skip‑gram보다 높은 Spearman 상관계수를 기록하고, 외부 리소스를 많이 요구하는 기존 최고 성능 모델들과도 경쟁할 수 있음을 보였다.

상세 분석

본 논문은 생의학 분야에서 개념 간 의미유사도를 정량화하는 문제에 대해, 기존 워드 임베딩 방식의 한계를 지적한다. 일반적인 Skip‑gram은 주변 단어들을 기반으로 목표 단어의 벡터를 학습하는데, 생의학 텍스트는 전문 용어와 약어, 동의어가 빈번히 등장해 단순 단어‑레벨 컨텍스트만으로는 충분한 의미 정보를 포착하기 어렵다. 이를 해결하고자 저자들은 MeSH‑gram이라는 모델을 제안한다. 핵심 아이디어는 학습 대상 단어를 그대로 두고, 주변 컨텍스트를 ‘단어’가 아니라 ‘MeSH descriptor’로 교체하는 것이다. MeSH는 NLM이 관리하는 체계적인 의학 주제어 사전으로, 각 논문에 할당된 메타데이터 형태의 라벨이다. 따라서 MeSH‑gram은 논문 수준에서 자동으로 추출된 고품질의 의미 라벨을 활용해, 단어 벡터가 보다 풍부한 의료 의미 맥락을 학습하도록 만든다.

학습 과정은 기존 Skip‑gram과 동일하게 부정 샘플링(negative sampling)과 확률적 경사 하강법을 사용하지만, 입력‑출력 쌍이 (단어, MeSH) 형태가 된다. 이렇게 하면 동일한 단어가 다양한 MeSH 라벨과 연결될 때, 그 단어의 임베딩이 여러 의료 분야의 의미를 동시에 반영하게 된다. 또한 MeSH는 계층적 구조를 가지고 있어, 상위·하위 개념 간의 관계가 자연스럽게 벡터 공간에 내재될 가능성이 있다.

실험에서는 PubMed MEDLINE 전체(수억 건)에서 추출한 텍스트와 해당 논문의 MeSH 라벨을 이용해 300 차원 벡터를 학습하였다. 평가 데이터는 인간이 직접 점수를 매긴 4개의 표준 데이터셋(예: UMNSRS, MiniMayoSRS 등)으로, 의미유사도와 의미연관성 두 축을 포함한다. MeSH‑gram은 다양한 윈도우 크기(2,5,10)를 적용한 기존 Skip‑gram과 비교했을 때, 모든 데이터셋에서 평균 3~5%p 높은 Spearman 상관계수를 보였다. 이어 20개의 기존 모델(Word2Vec, GloVe, FastText, BioBERT 등)과도 비교했으며, 특히 외부 지식베이스(예: UMLS, SNOMED CT)를 추가로 활용한 모델들과 비슷하거나 약간 앞서는 성능을 기록했다. 중요한 점은 MeSH‑gram이 별도의 외부 리소스나 복잡한 사전 학습 단계 없이도 경쟁력 있는 결과를 얻었다는 것이다.

한계점으로는 MeSH 라벨이 논문 수준에서만 제공되므로, 문장 혹은 구절 수준의 미세한 의미 차이를 포착하는 데는 제한적일 수 있다. 또한 MeSH는 최신 연구 주제를 즉시 반영하지 못하는 업데이트 주기가 존재한다는 점도 언급된다. 향후 연구에서는 MeSH 외에도 MeSH와 연계된 다른 온톨로지(예: GO, Disease Ontology)를 결합하거나, 트랜스포머 기반 모델에 MeSH‑gram의 컨텍스트 방식을 통합하는 방안을 제시한다.

전반적으로 MeSH‑gram은 의료 텍스트 임베딩에 도메인 특화 메타데이터를 효과적으로 활용한 사례로, 높은 성능과 구현의 간결성을 동시에 달성했다는 점에서 생의학 NLP 분야에 의미 있는 기여를 한다.