웹과학 지도 대규모 논문 데이터 LLM 임베딩

초록

본 연구는 Web of Science에 포함된 5천6백만 건의 과학 논문 초록을 최신 대형 언어 모델(LLM) 임베딩으로 변환하고, 이를 기존 인용 그래프와 결합해 과학 분야의 구조적·의미적 지도를 제시한다. 두 종류의 임베딩 모델(mxbai‑embed‑large와 nomic‑embed‑text)을 사용해 1024·768 차원의 벡터를 얻고, 코사인 유사도를 거리로 활용한다. 임베딩 공간과 인용 그래프 간 거리의 양의 상관관계를 확인했으며, 주제별 중심점과 클러스터를 시각화해 자연과학·사회과학·인문학이 각각 구분되는 구름 형태를 발견한다. 또한 텍스트 기반과 그래프 기반 방법을 결합하면 분류·클러스터링 정확도가 향상될 가능성을 제시한다.

상세 분석

이 논문은 대규모 과학 메타데이터를 텍스트와 그래프 두 축으로 동시에 분석하려는 시도를 구체화한다. 먼저, 저자들은 Ollama 프레임워크를 통해 두 개의 오픈소스 LLM 임베딩 모델을 적용했는데, mxbai‑embed‑large는 1024 차원, nomic‑embed‑text는 768 차원의 벡터를 생성한다. 두 모델 모두 사전 학습된 일반 목적 모델이지만, 과학 초록이라는 비교적 형식화된 텍스트에 대해 충분히 높은 표현력을 보인다. 벡터는 정규화 후 코사인 유사도를 거리 척도로 사용했으며, 이는 고차원 구면(n‑sphere) 위에 점들을 배치하는 직관적인 해석을 가능하게 한다.

임베딩 결과에 대한 정량적 분석으로는 PCA를 수행해 차원별 분산을 확인했으며, 모든 차원이 일정 수준의 정보를 보유하고 있음을 보고한다. 이는 차원 축소가 클러스터링의 미세한 구분을 손상시킬 위험이 있음을 시사한다. 이어서 48 076개의 무작위 샘플에 대해 100 000쌍을 추출해 임베딩 거리와 인용 그래프상의 최단 경로 거리를 비교했으며, Pearson 상관계수(PCC)가 각각 0.455와 0.337으로 양의 상관관계를 나타냈다. 이는 텍스트 의미적 유사성과 인용 기반 학문적 연관성이 부분적으로 겹친다는 증거이며, 두 정보를 결합하면 보다 풍부한 유사도 측정이 가능함을 암시한다.

주제별 중심점 계산에서는 Web of Science가 정의한 255개 주제를 대상으로 각 논문의 임베딩을 가중 평균해 중심 벡터를 도출했다. 가중치는 해당 논문의 다중 라벨링 수의 역수로 설정해, 다중 주제 논문의 영향력을 적절히 조정한다. 중심점 간 거리와 클러스터 분포를 시각화한 결과, 자연과학, 사회과학, 인문학이 각각 큰 구름 형태를 이루며 내부에 세부 분야별 서브클러스터가 존재한다. 특히 다학제적 주제는 중심점 간 거리가 비교적 멀면서도 임베딩 공간에서는 상대적으로 가깝게 위치해, 텍스트 기반 의미가 학문적 교차점을 잘 포착함을 보여준다.

마지막으로 저자들은 텍스트와 그래프 기반 특징을 결합한 하이브리드 모델이 개별 논문의 주제 예측 및 전체 데이터셋 클러스터링에서 기존 단일 방법보다 높은 정확도를 달성할 가능성을 제시한다. 향후 연구에서는 이러한 결합 특징을 이용한 지도 학습 및 비지도 학습 알고리즘을 구현하고, 더 큰 샘플링 비율과 전체 5천6백만 건 데이터에 대한 확장 실험을 계획하고 있다.