과학 논문 교차문서 핵심어 연계와 계층 추론을 위한 정의 기반 관계 추론

초록

본 논문은 과학 논문에서 개념 언급들의 교차문서 핵심어 결합과 계층 구조를 추론하기 위해, 문헌 검색으로 얻은 전체 텍스트를 활용해 컨텍스트 의존적 정의를 생성하고, 이를 단일 정의와 관계 정의 형태로 모델에 주입한다. 정의 기반 증강을 통해 대규모 언어 모델(LM)의 성능을 크게 향상시켰으며, 특히 표면 형태가 다양하고 모호한 장벽이 높은 데이터 서브셋에서 큰 이득을 보였다. 효율적인 두 단계 재랭킹 기법으로 관계 정의 생성 비용을 제어하고, 파인튜닝 및 인-컨텍스트 학습 모두에서 최첨단 결과를 달성하였다.

상세 분석

이 연구는 과학 텍스트에서 핵심어(Coreference)와 상위‑하위 관계(Hierarchy)를 동시에 해결하는 H‑CDCR(Hierarchical Cross‑Document Coreference Resolution) 문제에 초점을 맞춘다. 기존 작업은 주로 표면 형태 일치나 단순한 문자열 매칭에 의존했으나, 과학 분야에서는 동일 개념이 서로 다른 용어로 표현되거나, 유사한 용어가 전혀 다른 의미를 가질 수 있어 기존 방법이 한계에 부딪힌다. 논문은 이러한 난점을 극복하기 위해 ‘정의(Definition)’라는 중간 표현을 도입한다. 구체적으로는 (1) 싱글톤 정의: 각 개념 언급에 대해 해당 언급이 등장한 문맥과 전 세계 과학 논문에서 검색된 관련 패시지를 결합해 LLM이 생성한 정의; (2) 관계 정의: 두 언급 사이의 관계를 명시적으로 서술하는 정의로, “A는 B의 하위 개념이다” 혹은 “A와 B는 서로 다른 개념이다”와 같은 형태를 만든다.

정의 생성 파이프라인은 Retrieval‑Augmented Generation(RAG) 방식을 채택한다. 먼저, 언급 주변 문맥 ϕ_m을 임베딩 ψ에 의해 벡터화하고, 대규모 arXiv 전체 텍스트 코퍼스 C에서 가장 유사한 패시지를 top‑k 검색한다. 이후 재랭킹 모델 ξ를 통해 노이즈를 제거하고, 최종 컨텍스트 집합 R을 얻는다. 이 R와 원문 ϕ_m을 프롬프트에 삽입해 LLM(예: GPT‑4o 혹은 오픈소스 모델)에게 정의를 생성하도록 한다. 싱글톤 정의는 오프라인으로 미리 계산해 저장함으로써 추론 시 비용을 최소화한다.

관계 정의는 조합 폭이 급증한다는 실용적 문제를 안고 있다. 논문은 두 단계 재랭킹 전략을 제안한다. 첫 단계에서는 싱글톤 정의를 이용해 모든 후보 쌍에 대해 관계 확률 f(D(m_i,m_j))를 예측하고, ‘none’ 클래스를 제외한 상위 25% (θ 임계값)만을 선택한다. 두 번째 단계에서만 관계 정의를 생성한다. 이렇게 하면 전체 쌍(수십만 개) 중 수천 개만을 대상으로 고비용 LLM 호출을 수행하게 된다.

모델 학습은 기존 H‑CDCR의 4‑클래스(코어퍼런스, A→B, B→A, none) 분류 프레임워크를 그대로 사용한다. 정의가 삽입된 입력은 … 태그로 구분되며, Longformer와 Mistral‑7B 두 가지 베이스 모델에 파인튜닝한다. 또한, 인‑컨텍스트 학습(ICP) 설정에서는 GPT‑4o‑mini와 DSPy 프롬프트 최적화기를 결합해 few‑shot 프롬프트를 설계한다. 실험 결과, 정의 증강 모델은 전체 CoNLL‑F1 점수에서 35%p 상승을 보였으며, 특히 ‘Hard‑10’ 서브셋(표면 형태 다양성·모호성 높은 10% 데이터)에서 79%p의 큰 개선을 기록했다. 계층 관계 탐지에서도 싱글톤 정의만 사용할 때보다 관계 정의를 추가했을 때 평균 4%p 이상의 추가 이득을 얻었다.

분석 파트에서는 생성된 정의의 품질을 인간 평가와 자동 메트릭(ROUGE, BLEU)으로 검증했으며, 정의가 정확히 개념을 포착할수록 모델의 예측 정확도가 높아지는 상관관계를 제시한다. 또한, 정의 기반 접근법이 ‘표면 형태가 전혀 겹치지 않는’ 경우에도 성공적으로 관계를 추론함을 사례를 들어 설명한다. 한계점으로는 (1) 정의 생성 비용이 여전히 높은 편이며, (2) LLM이 생성한 정의에 오류가 포함될 경우 downstream 성능이 하락할 수 있다는 점을 들었다. 향후 연구 방향으로는 정의의 자동 검증, 멀티‑모달(그림·표) 정보 활용, 그리고 정의를 그래프 형태로 구조화해 직접적인 지식 그래프 구축에 연결하는 방안을 제시한다.