연구 데이터 메타데이터 학문 분야 자동 분류

이 논문은 연구 데이터 메타데이터를 자동으로 학문 분야에 라벨링하는 방법을 제시하고, 그 실용성을 검증하기 위해 대규모 데이터셋과 다양한 머신러닝 모델을 활용하였다. 먼저, DataCite 인덱스에서 2011년부터 2019년까지 수집된 2,476,959 건의 메타데이터 중, 최소 하나의 subject 필드가 명시된 레코드를 추출하고, 자동 라벨링된 레코드를 제외한 뒤 609,524 건을 최종 학습·평가용 데이터셋으로 구축하였다. 이 과정에서 6개의 기존 분류 체계(ANZSRC, DDC 등)를 하나의 공통 스키마인 ANZSRC 기반 20개 기본 클래스에 매핑했으며, “Earth Sciences”와 “Environmental Sciences”, “Engineering”과 “Technology”와 같은 유사 분야를 병합하여 라벨 일관성을 높였다. 텍스트 전처리 단계에서는 메타데이터의 title, description, keyword 필드를 결합하고, 도메인 특화 불용어 사전을 확장하여 의미 없는 토큰을 제거하였다. 이후 TF‑IDF와 단어 임베딩(Word2Vec/fastText) 기반 평균 벡터를 사용해 텍스트를 수치화했으며, 차원 축소와 정규화를 통해 모델 입력으로 활용하였다. 모델링은 두 갈래로 진행되었다. 첫 번째는 scikit‑learn 라이브러리의 다중 라벨 지원 트리 기반 알고리즘(예: RandomForest, GradientBoosting)이며, 두 번째는 TensorFlow를 이용한 신경망 모델로 다층 퍼셉트론(MLP)과 장단기 메모리(LSTM) 구조를 구현하였다. 다중 라벨 특성을 반영하기 위해 binary relevance와 One‑vs‑Rest 방식을 적용했고, 클래스 불균형을 완화하기 위해 가중치 조정 및 오버샘플링을 시도하였다. 평가 지표는 macro‑averaged F1을 중심으로 precision, recall, micro‑F1를 보조 지표로 사용하였다. 실험 결과, MLP가 f1‑macro 0.760으로 가장 높은 성능을 보였으며, LSTM이 0.755로 근소히 뒤졌다. 트리 기반 모델은 전반적으로 0.68‑0.71 수준에 머물렀다. 이는 텍스트 시퀀스 정보를 보존하는 신경망이 메타데이터의 복합적 의미를 더 잘 포착한다는 점을 시사한다. 연구에서는 세 가지 활용 시나리오를 제시한다. 첫 번째는 과학계량 연구로, 대규모 데이터셋에서 분야별 정규화와 트렌드 분석을 위해 높은 정밀도가 필요하다. 두 번째는 레포지터리 보조 시스템으로, 제출자에게 자동 라벨 제안을 제공해 메타데이터 품질을 향상시키며, 이 경우 재현율이 더 중요하다. 세 번째는 가치 추가 서비스(예: 분야별 알림, 파싯 검색)로, 정밀도와 재현율이 균형을 이루어야 한다. 각 시나리오에 맞는 모델 선택 가이드를 제시하고, 실제 적용 시 모델을 API 형태로 제공할 계획이다. 위협 요인으로는 라벨 불균형, 시간에 따른 메타데이터 변화, 스키마 매핑 오류, 텍스트 길이와 품질 차이가 있다. 특히 소수 라벨에 대한 과소평가 위험이 존재한다. 저자는 향후 데이터 증강, 계층적 라벨링, 도메인 적응 전이 학습 등을 통해 이러한 한계를 보완하고, 더 정교한 멀티라벨 계층 모델을 개발할 예정이라고 밝혔다. 마지막으로, 연구팀은 데이터셋과 전처리·학습 코드를 모두 공개하여 재현성을 확보하고, 향후 연구자들이 이 기반 위에 새로운 모델을 시험하거나 다른 메타데이터 스키마에 적용할 수 있도록 기여하고 있다.