LLM 기반 체인 프롬프트로 체계적 리뷰 검색 전략 혁신

초록

본 논문은 GPT‑4o‑mini를 활용한 체인 프롬프트 파이프라인을 제안한다. 연구 목표를 분해하고 PICO 요소를 추출·구조화한 뒤 개념·키워드 확장을 거쳐 Boolean 검색식을 자동 생성한다. LEADSInstruct 데이터셋에서 평균 재현율 0.90을 달성해 기존 방법을 크게 앞섰으며, 프롬프트 설계가 성능에 미치는 영향을 상세히 분석한다.

상세 분석

이 연구는 체계적 문헌고찰(Systematic Review, SR)에서 핵심적인 검색 전략 설계 과정을 LLM 기반 체인 프롬프트로 자동화한다는 점에서 의미가 크다. 먼저 연구자는 전통적인 수동 방식—PICO 프레임워크에 기반해 인구·중재·비교·결과를 정의하고, 동의어·주제어·MeSH 등을 확장해 Boolean 식을 구성하는 절차—를 정확히 모델링하고, 이를 네 단계의 프롬프트 체인으로 분해하였다. 단계 1에서는 연구 질문을 입력받아 구조화된 PICO 요소를 추출하고, 단계 2에서는 각 요소를 도메인‑특화 개념으로 세분화한다. 단계 3에서는 개념당 동의어·어형 변형·관련 용어를 폭넓게 생성해 검색어 풀(pool)을 확대하고, 마지막 단계에서는 OR 연산으로 개별 키워드 집합을 결합하고, AND 연산으로 개념 간 논리적 연결을 수행해 완전한 Boolean 쿼리를 만든다. 핵심 기술은 GPT‑4o‑mini를 모든 단계에 일관된 시스템·유저 프롬프트로 제어함으로써 출력 형식을 구조화하고, 단계 간 정보 손실을 최소화한 점이다. 실험에서는 LEADSInstruct 데이터셋(81개 SR)에서 기존 LEADS(재현율 0.24)와 LEADS+ensemble(0.82, 재현율 0.2 이상 필터링)보다 평균 재현율 0.90을 기록했다. 특히, 목표 재구성 단계가 추가된 전체 파이프라인이 0.87→0.90으로 크게 향상된 점은 프롬프트 설계가 검색 전략 품질에 미치는 결정적 영향을 보여준다. 오류 분석에서는 용어 불일치와 목표 명확성 부족이 재현율 저하의 주요 원인으로 밝혀졌으며, 이는 프롬프트에 보다 구체적인 의료 용어 사전과 목표 정규화를 포함함으로써 개선 가능함을 시사한다. 전반적으로 이 논문은 LLM을 활용한 단계적 프롬프트 체인이 수동 작업의 복잡성을 크게 감소시키면서도 높은 재현율을 유지할 수 있음을 실증적으로 입증한다. 또한, 구조화된 출력과 단계별 검증 메커니즘을 통해 결과의 투명성·재현성을 확보했으며, 향후 전체 SR 파이프라인(스크리닝·데이터 추출 등)과 연계될 가능성을 열어준다.