ProfOlaf: 체계적 문헌 리뷰를 위한 반자동 지원 도구

초록

ProfOlaf는 초기 논문 집합을 기반으로 반복적인 스노우볼링을 수행하고, 메타데이터 필터링·제목·초록·전체 텍스트 단계별 인간‑인‑루프 검토를 지원한다. 또한 LLM을 활용해 논문 주제 모델링, 키워드 추출, 요약 및 질의응답을 제공한다. CLI와 웹 UI를 모두 제공하며, 오픈소스로 공개돼 재현성과 효율성을 크게 향상시킨다.

상세 분석

본 논문은 체계적 문헌 리뷰(Systematic Literature Review, SLR) 과정에서 발생하는 인적·시간적 비용을 감소시키기 위해 설계된 반자동 도구 ProfOlaf의 설계·구현·평가를 상세히 제시한다. 주요 기술적 기여는 다음과 같다. 첫째, 스노우볼링 기반의 기사 수집 파이프라인을 채택하였다. 초기 seed 논문 리스트를 입력하면, 각 논문의 인용·참조를 자동으로 추출하고 Google Scholar, Semantic Scholar, DBLP 등 다중 데이터베이스에서 메타데이터를 수집한다. 중복 및 변형 제목을 자동 감지해 사용자가 보존할 버전을 선택하도록 지원한다. 둘째, 메타데이터 스크리닝 단계에서는 venue ranking(Scimago, CORE), 연도, 언어 등 선택적 필터를 적용한다. venue ranking은 코사인 유사도 기반으로 기존에 랭크된 학술지와 유사성을 계산해 후보를 제시함으로써 사용자의 수작업 부담을 크게 낮춘다. 셋째, 인간‑인‑루프 기반의 기사 스크리닝을 구현한다. 제목 → 초록 → 전체 텍스트 순으로 진행되며, 각 단계에서 다수 리뷰어의 평가를 기록하고 의견 차이를 시각화한다. 여기서 LLM을 보조 평가자로 활용해 자동 판단을 제시하고, 인간 리뷰어와의 토론 소재로 제공한다. 넷째, 수집이 완료된 논문에 대해 두 가지 LLM 기반 분석 모듈을 제공한다. TopicGPT를 이용한 프롬프트 기반 토픽 모델링은 전통적인 bag‑of‑words 방식보다 자연어 라벨을 생성해 해석성을 높인다. 또한 Task Assistant는 논문 전체를 파싱해 키워드 추출, 요약, 질의응답 등을 수행한다. 다섯째, 도구는 CLI와 웹 UI 두 형태로 배포되며, Docker 이미지와 GitHub 저장소를 통해 재현성을 보장한다. 평가에서는 머신러닝‑코드 분야를 주제로 7회 반복 스노우볼링을 수행해 108개의 최종 논문을 확보하였다. 자동 스크리닝에서는 gpt‑5.2 모델을 사용했으며, 인간 리뷰어와 비교했을 때 정확도와 정밀도는 비슷하거나 약간 우수했으나 재현율이 다소 낮아 보수적인 판단 경향을 보였다. 토픽 모델링에서는 22개의 사전 정의 토픽 중 45%54%를 정확히 재현했으며, 프로그래밍 언어 식별에서도 59% 정밀도·71% 재현율을 기록했다. 요약 품질 평가는 5점 척도에서 4.34.9점으로 전반적으로 높은 신뢰성을 보였지만, 커버리지가 가장 낮은 점수를 받아 일부 중요한 내용이 누락될 수 있음을 시사한다. 종합적으로, ProfOlaf는 전통적인 SLR 워크플로우에 자동화와 LLM 보조를 효과적으로 결합했으며, 완전 자동화보다는 인간‑인‑루프 협업을 강조한다는 점이 가장 큰 특징이다. 한계점으로는 현재 LLM이 토픽 할당·프로그래밍 언어 식별에서 과잉 할당·환각(hallucination) 경향을 보이며, 복잡한 주제 구분에 있어 인간 검증이 필수적이라는 점을 들 수 있다. 향후 연구에서는 프롬프트 최적화, 도메인 특화 모델 적용, 그리고 다중 데이터베이스 연동을 확대해 정확도와 재현율을 동시에 높이는 방향이 제시된다.