LLM으로 문헌 검토 속도 높인다: 비용 효율적인 동적 퓨샷 학습의 비밀

초록

체계적 문헌고찰의 가장 부담되는 단계인 제목/초록 스크리닝에 대규모 언어모델(LLM)을 적용한 연구. 저비용 LLM으로 1차 스크리닝 후, 낮은 신뢰도를 보이는 논문만 고성능 LLM으로 재평가하는 ‘동적 퓨샷 학습(DFSL)’ 접근법을 제안. 10개 문헌고찰 데이터셋에서 기존 방법 대비 우수한 성능(F1 점수 0.552)과 강한 일반화 능력, 비용 효율성을 입증.

상세 분석

본 연구가 제안하는 동적 퓨샷 학습(DFSL) 접근법의 기술적 핵심은 크게 두 가지로 요약된다. 첫째, 클러스터링 기반의 동적 인스턴스 선택 전략이다. 기존의 퓨샷 학습이 무작위 또는 정적으로 예시를 선정하는 데 따른 한계를 극복하기 위해, MedCPT 인코더로 생성한 텍스트 임베딩을 UMAP으로 차원 축소한 후 K-means 클러스터링을 수행한다. 각 클러스터에서 포함(Inclusion) 예시 1개와 제외(Exclusion) 예시 2개를 선정해 인스턴스 풀을 구성하며, 분류 대상 논문이 속한 클러스터에서 가장 유사한 예시들을 동적으로 선택해 프롬프트를 구성한다. 이는 주제별 데이터 분포의 다양성을 효과적으로 반영하고, 모델이 유사한 컨텍스트 내에서 판단할 수 있도록 돕는다.

둘째, 신뢰도 점수 기반의 이중 스테이지(2-stage) 리소스 할당 전략이다. 1단계에서는 GPT-4.1-mini 같은 저비용 LLM을 사용해 모든 논문을 초기 스크리닝하고, 각 예측에 대해 0에서 1 사이의 신뢰도 점수를 함께 생성한다. 신뢰도 임계값(본 연구에서는 0.9) 미만으로 판단된 ‘낮은 신뢰도 인스턴스’만을 2단계에서 GPT-4.1 같은 고성능 고비용 LLM으로 재평가한다. 이 구조는 대부분의 쉬운 판단은 저비드로 처리하고, 어려운 판단에만 고성능 리소스를 집중시켜 전체적인 성능은 유지하면서 비용을 획기적으로 절감한다. 저자들은 이 임계값이 재평가 비율, 비용 오버헤드, 전반적 성능 간의 트레이드오프를 고려해 설정되었으며, 민감도 분석을 통해 0.9가 합리적 균형점임을 보였다.

흥미로운 점은, 의학 특화 LLM(MediPhi, Med-Gemma)이 평가에서 해당 일반 LLM(Phi-3.5-mini, Gemma3-4B)보다 뚜렷한 우위를 보이지 않았다는 결과다. 이는 체계적 문헌고찰 스크리닝 작업이 단순한 의학 지식보다는 연구 목적과 포함/제외 기준에 대한 복합적인 이해와 추론을 요구하기 때문으로 해석될 수 있다. DFSL은 이러한 복합적 작업에 대해 동적 예시 선택을 통해 컨텍스트를 제공하고, 신뢰도 기반 캐스케이드로 효율성을 달성함으로써 실용적인 해법을 제시했다.