그래프 기반 강화학습으로 해결하는 시스템 문헌 리뷰 자동 스크리닝

초록

AutoDiscover는 문헌을 이종 그래프로 모델링하고, 이 그래프에서 HAN으로 임베딩을 추출한다. 추출된 임베딩을 Discounted Thompson Sampling 에이전트가 활용해 여러 활성학습 쿼리 전략을 동적으로 선택한다. 비정형적인 초기 라벨이 극소인 상황에서도 탐색‑활용 균형을 맞추어 스크리닝 효율을 크게 향상시킨다. SYNERGY 26개 데이터셋 실험에서 정적 베이스라인을 능가했으며, TS‑Insight 대시보드로 의사결정 과정을 시각화한다.

상세 분석

본 논문은 시스템 문헌 리뷰(SLR)에서 전문가 라벨링 비용이 높고, 관련 논문 비율이 낮은 ‘cold‑start 불균형’ 문제를 강화학습 기반 추천 시스템으로 재정의한다. 먼저 논문은 기존 활성학습(AL) 시스템이 고정된 쿼리 전략(예: 불확실도 기반, 유사도 기반)을 사용해 시간이 지남에 따라 전략 효용이 변함에도 적응하지 못한다는 한계를 지적한다. 이를 해결하기 위해 AutoDiscover는 세 가지 핵심 기술을 결합한다.

1. 이종 그래프 모델링: 문서, 저자, 메타데이터를 노드로, 인용·공동저자·키워드 등을 엣지로 하는 이종 그래프를 구축한다. 이는 문헌 간 구조적 관계를 보존해 텍스트만을 이용한 전통적 AL보다 풍부한 컨텍스트를 제공한다.

2. Heterogeneous Graph Attention Network (HAN): HAN은 메타‑경로 기반 어텐션 메커니즘을 통해 각 노드의 의미론적 임베딩을 학습한다. 이 임베딩은 문서 간 유사도 계산뿐 아니라, 라벨 예측에 필요한 고차원 특징을 포함한다. HAN 학습은 초기 라벨이 극소일 때도 그래프 전파를 통해 충분히 일반화될 수 있도록 설계되었다.

3. Discounted Thompson Sampling (DTS) 에이전트: 전통적 Thompson Sampling은 정적 환경에 적합하지만, 리뷰 진행 중 전략 효용이 급변하는 비정상(non‑stationary) 상황에선 부적절하다. 논문은 할인 계수(γ)를 도입해 최근 관측에 더 큰 가중치를 부여하는 DTS를 적용한다. 에이전트는 ‘쿼리 팔레트’를 다중 팔(arm) 형태로 정의한다. 팔은 (① GNN Exploit, ② Entropy Uncertainty, ③ Margin Uncertainty, ④ BALD, ⑤ Embedding Diversity, ⑥ Bias‑Aware, ⑦ Centrality‑Aware, ⑧ LP Graph Exploit, ⑨ Random) 등 9가지 전략으로 구성된다. 각 팔의 성공률(즉, 라벨링 후 정밀도 향상)을 베타 분포로 추정하고, 샘플링된 값이 가장 높은 팔을 선택해 다음 문서를 제안한다. 할인 메커니즘은 ‘잊어버림’ 효과를 제공해 오래된 정보가 현재 의사결정에 과도히 영향을 미치는 것을 방지한다.

학습 루프는 인간 전문가가 제공하는 실시간 라벨을 에이전트가 즉시 반영하도록 설계되었으며, 이 과정에서 HAN은 주기적으로 재학습되지 않고, 라벨 기반 피드백만으로 베타 파라미터가 업데이트된다. 따라서 연산 비용이 크게 절감된다.

평가는 SYNERGY 벤치마크(26개 실제 리뷰 데이터셋)에서 수행되었다. 주요 지표는 Discovery‑Rate Efficiency(DRE), Recall@k, Work Saved over Sampling(WSS@p)이다. AutoDiscover는 평균 DRE가 정적 전략 대비 18% 상승, Recall@100이 5% 향상, WSS@5%가 12% 증가했다. 특히 초기 라벨이 5개 이하인 경우, 정적 전략은 거의 수렴하지 못하지만 DTS 기반 에이전트는 빠르게 탐색‑활용 균형을 맞춰 성능 급상승을 보였다.

TS‑Insight 대시보드는 각 팔의 선택 빈도, 보상 추이, 그래프 상의 라벨 분포 등을 시각화해 사용자가 에이전트 행동을 검증·해석할 수 있게 한다. 사례 연구에서는 특정 도메인에서 ‘Centrality‑Aware’ 팔이 초기에 주도했으나, 라벨이 축적되면서 ‘Embedding Diversity’ 팔로 전환되는 과정을 확인했다.

제한점으로는 (① 그래프 구축 비용, 특히 대규모 데이터셋에서 메타데이터 수집), (② HAN 재학습이 필요할 경우 연산 부하), (③ 현재 팔 구성이 도메인에 따라 최적이 아닐 수 있음) 등을 제시한다. 향후 연구에서는 메타‑학습 기반 팔 자동 생성, 그래프 스트리밍 업데이트, 멀티‑모달(텍스트·이미지·표) 통합 등을 제안한다.

전반적으로 AutoDiscover는 ‘cold‑start + 불균형’ 상황을 강화학습과 그래프 신경망의 시너지로 해결한 혁신적 프레임워크이며, 실용적인 시각화 도구와 함께 SLR 자동화에 실질적 기여를 한다.