학술 정의 자동 추출을 위한 대규모 언어 모델 기반 SciDef

초록

SciDef는 대규모 언어 모델(LLM)을 활용해 학술 논문에서 정의를 자동으로 추출하는 파이프라인이다. 저자들은 정의 추출을 평가하기 위해 인간이 직접 라벨링한 DefExtra(268개 정의)와 정의 쌍의 의미 유사성을 측정한 DefSim(60쌍)을 공개하였다. 16가지 LLM과 다양한 프롬프트 전략을 실험한 결과, 다단계 프롬프트와 DSPy‑최적화 프롬프트가 성능을 크게 향상시켰으며, NLI 기반 유사도 측정이 가장 신뢰할 수 있는 평가 지표로 확인되었다. 전체 정의 중 86.4%를 정확히 추출했지만, 모델이 과도하게 정의를 생성하는 경향이 있어 향후 관련성 판단에 초점이 맞춰져야 한다.

상세 분석

본 논문은 정의 추출이라는 특수한 정보 추출 작업에 LLM을 적용한 최초 사례 중 하나로, 기존 정의 추출 연구가 갖는 세 가지 한계를 체계적으로 보완한다. 첫째, DefExtra와 DefSim이라는 두 개의 공개 데이터셋을 구축함으로써 재현 가능한 벤치마크 환경을 제공한다. DefExtra는 미디어 바이어스 분야를 중심으로 75편의 논문에서 268개의 인간 라벨링 정의를 수집했으며, 정의 유형(명시적·암시적)과 문맥 정보를 메타데이터로 포함한다. DefSim은 정의 쌍에 대해 15점의 의미 유사도 라벨을 부여해, 정의 간 의미적 일치를 정량화할 수 있게 한다. 둘째, 정의 추출 파이프라인인 SciDef는 PDF → 구조화 텍스트(GROBID) → LLM 기반 정의 추출 → 후처리(중복 제거·정규화) 단계로 구성된다. 특히 프롬프트 설계에 있어 단일 단계, 다단계, 그리고 DSPy‑자동 최적화 프롬프트를 비교했으며, 다단계와 DSPy‑최적화가 각각 47%p의 F1 향상을 보였다. 이는 LLM이 복잡한 문맥을 이해하고 정의 구문을 정확히 식별하는 데 단계적 사고가 유리함을 시사한다. 셋째, 정의 추출 결과를 평가하기 위해 세 가지 메트릭 군을 검증한다. (1) 임베딩 기반 코사인 유사도, (2) 양방향 NLI 엔텔먼트 점수, (3) LLM‑as‑Judge 프롬프트 기반 점수이다. 표준 의미 유사도 벤치마크(STS‑B, SICK 등)와 DefSim을 활용한 실험 결과, NLI 기반 점수가 가장 높은 인간 라벨과의 상관관계를 보였으며, 특히 타입 일치(명시·암시)와 문맥 일치를 추가 가중치로 포함시켰을 때 평가 신뢰도가 크게 상승했다. 최종 점수는 정의 집합 간 최적 매칭을 통해 recall‑like(ground‑truth 커버리지)와 precision‑like(과다 생성 억제) 요소를 균형 있게 반영한다. 실험에서는 16개의 LLM(GPT‑3.5‑turbo, Claude‑2, Llama‑2 등)을 테스트했으며, 가장 큰 모델일수록 정의 추출 성공률이 높았지만, 작은 모델도 적절한 프롬프트와 DSPy 최적화만 적용하면 경쟁력 있는 성능을 보였다. 결과적으로 전체 테스트 셋에서 86.4%의 정의를 정확히 추출했지만, 평균 1.3개의 과다 생성 정의가 존재해 실제 활용 시 후처리 단계가 필요함을 강조한다. 논문은 정의 추출이 아니라 정의의 관련성 판단, 즉 “필요한 정의만 골라내는” 작업이 향후 연구의 핵심 과제로 남아 있음을 제시한다.