자동불리언: 강화학습 기반 LLM으로 체계적 리뷰를 위한 고효율 검색식 생성

초록

AutoBool은 강화학습(RL)으로 대형 언어모델을 훈련시켜 의료 체계적 리뷰에 필요한 불리언 검색식을 자동 생성한다. 기존 프롬프트 기반 방법이 낮은 재현율에 머무는 문제를, 정답 쿼리가 없는 상황에서도 검색 성능(재현율·정밀도) 자체를 보상함수로 최적화함으로써 해결한다. 65 588개의 리뷰 주제(32 794 train / 32 794 test)와 1 000개의 최신 PubT_emp 검증 세트를 공개하고, Qwen‑3‑4B 기반 모델을 GRPO 알고리즘으로 미세조정해 GPT‑4o·O3 수준의 성능을 소형 모델로 달성한다.

상세 분석

본 논문은 체계적 리뷰에서 핵심적인 “불리언 검색식” 자동 생성 문제를 강화학습(RL) 프레임워크로 재정의한다. 기존 연구는 (1) 목표 기반(키워드 확장·공동출현)과 (2) 개념 기반(인구·중재·결과 분해) 두 갈래로 접근했으나, 각각 재현율·정밀도 트레이드오프가 심하거나 전문가 개입이 과다했다. 최근 LLM을 프롬프트로 활용한 시도는 문법적으로는 가능하지만, 실제 PubMed 검색 시 재현율이 10‑40 % 수준에 머물러 실용성이 떨어졌다.

AutoBool은 “정답 쿼리”가 존재하지 않는 상황에서도, 생성된 쿼리를 실제 PubMed에 실행하고 포함 연구(골드 스탠다드)와 비교해 얻은 재현율·정밀도 지표를 직접 보상으로 사용한다. 보상 함수는 세 부분으로 구성된다.
1️⃣ 포맷 보상 – 불리언 연산자 대문자, 괄호, 따옴표 등 형식 준수 여부를 10점/‑10점으로 평가.
2️⃣ 유효성 보상 – 파싱 오류·결과 없음·과다 결과(>200 k) 여부를 검사해 동일하게 점수 부여.
3️⃣ 검색 보상 – 재현율 r과 정밀도 p를 결합한 복합 함수 F(r,p)=M·r + M·r^α·log(1+s·p) (s=100, α∈