질병 지식 자동화: 어휘 기반 Word2Vec 모델 Dis2Vec의 혁신

본 논문은 전통적인 질병 감시 체계가 실시간 뉴스·소셜 미디어와 같은 비정형 데이터에 의해 보완될 수 있다는 점을 출발점으로 한다. 그러나 이러한 데이터는 구조가 잡혀 있지 않고 잡음이 많아, 인간 전문가의 수작업 라벨링 없이 의미 있는 질병 속성을 추출하기 어렵다. 기존의 Word2Vec·Doc2Vec와 같은 분산 표현 학습 방법은 대규모 일반 텍스트에서는 뛰어난 성능을 보이지만, 의료·보건 분야처럼 중규모 코퍼스와 전문 용어가 혼재된 상황에서는 의미 있는 관계를 포착하지 못한다. 예를 들어, ‘rabies : zoonotic = salmonella : ??’와 같은 아날로지를 전통적인 Skip‑gram 모델에 적용하면 ‘saintpaul’과 같은 무관한 결과가 도출된다. 이를 해결하고자 저자들은 ‘Dis2Vec’이라는 어휘‑주도 Word2Vec 모델을 설계했다. 핵심 아이디어는 도메인 전문가가 사전에 정의한 질병 어휘 집합 V(질병명, 증상, 전파 방법, 전파 매개체, 노출 등)를 학습에 직접 활용하는 것이다. 입력 코퍼스 D는 HealthMap에서 수집한 전 세계 보건 뉴스 기사이며, 약 10만 문서 규모로 구성된다. 모델 설계는 크게 세 단계로 나뉜다. 첫째, 코퍼스 D를 V와의 관계에 따라 세 종류의 (단어, 컨텍스트) 쌍으로 분류한다. D(d)는 단어와 컨텍스트 모두 V에 속하는 쌍으로, 질병‑특화 관계를 가장 많이 포함한다. D(¬d)는 둘 다 V에 속하지 않는 일반 쌍이며, D(d)(¬d)는 하나만 V에 속하는 혼합 쌍이다. 둘째, 각 카테고리에 맞는 손실 함수를 정의한다. D(d) 쌍에 대해서는 ‘어휘‑주도 부정 샘플링’을 적용한다. 기존 SGNS가 전체 어휘에서 무작위로 부정 컨텍스트를 선택하는 데 반해, Dis2Vec은 비질병 컨텍스트(c∉V)와 질병 컨텍스트(c∈V)를 섞어 샘플링한다. 이때 파라미터 π_s가 부정 샘플이 비질병 컨텍스트에서 추출될 확률을 조절한다. π_s가 높을수록 비질병 컨텍스트가 더 많이 선택되어 질병 단어와 일반 단어가 명확히 구분된다. 셋째, D(¬d)와 D(d)(¬d) 쌍에 대해서는 기존 SGNS와 동일하게 로그‑시그모이드 손실을 적용한다. 전체 목표 함수는 세 부분의 합으로 구성되며, 스토캐스틱 그라디언트 디센트를 통해 최적화된다. 학습이 완료된 후, 각 질병에 대한 자동 택소노미를 생성한다. 질병 이름 벡터와 속성 후보군(예: 모든 증상 단어) 벡터 간 코사인 유사도를 계산하고, 상위 N개의 단어를 해당 속성의 예측값으로 선택한다. 이 과정을 증상, 전파 매개체, 전파 방법, 노출 네 가지 카테고리에 대해 수행한다. 평가를 위해 저자들은 인간 전문가가 만든 금본위 택소노미와 자동 생성 택소노미를 비교하였다. 평가 지표는 정확도(Top‑1 일치율)와 평균 정밀도이며, 세 가지 질병 군(신흥, 풍토성, 희귀) 각각에 대해 별도로 보고한다. 실험 결과, Dis2Vec은 기존 SGHS, SGNS, GloVe 등 최신 Word2Vec 변형 대비 전반적으로 10~20% 높은 정확도를 기록했다. 특히 신흥 질병(예: Ebola, H7N9)에서는 증상 0.98, 전파 매개체 0.97, 전파 방법 0.99, 노출 0.95의 거의 완벽에 가까운 성능을 보였다. 풍토성 질병(조류 인플루엔자)과 희귀 질병(플래그)에서도 전반적인 성능이 우수했지만, 노출과 전파 매개체와 같은 일부 속성에서는 데이터 부족으로 인해 약간 낮은 정확도(0.80~0.85)를 보였다. 논문은 또한 파라미터 민감도 분석을 수행한다. 부정 샘플 수 k는 5~15 사이에서 최적화되었으며, π_s는 0.5~0.7 구간에서 가장 좋은 균형을 제공한다. 임베딩 차원 T는 100~300 사이에서 실험했으며, 200 차원이 가장 안정적인 결과를 제공했다. 한계점으로는 어휘 V의 품질에 크게 의존한다는 점을 들었다. V가 불완전하거나 최신 질병 용어를 반영하지 못하면 모델이 해당 정보를 학습하지 못한다. 또한 현재 실험은 HealthMap 뉴스에만 국한돼 있어, 임상 기록, 소셜 미디어, 포럼 등 다른 데이터 소스와 결합했을 때의 일반화 가능성은 검증되지 않았다. 향후 연구에서는 V를 자동 확장하는 방법(예: 의학 사전·위키피디아 기반)과 멀티모달 데이터 통합을 통해 모델의 적용 범위를 넓히고자 한다. 결론적으로, Dis2Vec은 도메인 어휘를 학습 과정에 직접 주입함으로써, 중규모 의료 뉴스 코퍼스에서도 질병‑특화 의미 관계를 효과적으로 학습한다. 이는 실시간 질병 감시, 자동 택소노미 구축, 그리고 신흥 전염병 초기 탐지에 실용적인 도구로 활용될 수 있음을 보여준다.