현실적인 리뷰어 추천을 위한 대규모 벤치마크와 LLM 기반 프레임워크

초록

OmniReview는 202,756개의 검증된 리뷰 기록과 150,287명의 리뷰어를 포함한 대규모 데이터셋을 구축하고, 리뷰어 후보 탐색·노이즈 필터링·정밀 순위 매김을 단계별로 평가하는 3단계 계층형 프레임워크를 제안한다. 기존 임베딩 기반 방법의 의미 압축과 해석성 한계를 극복하기 위해 LLM이 생성한 세밀한 연구 프로필과 다중 과제 적응형 MMoE 구조를 결합한 Pro‑MMoE 모델을 설계했으며, 7개 평가 지표 중 6개에서 최첨단 성능을 달성했다.

상세 분석

본 논문은 학술 피어 리뷰 시스템의 핵심 문제인 “적절한 리뷰어 매칭”을 데이터와 방법 양측에서 동시에 개선하려는 시도를 보인다. 첫 번째 기여는 다중 출처(오픈 학술 그래프, Frontiers, ORCID)를 정교히 정제·연계하여 202,756건의 검증된 리뷰 기록과 150,287명의 리뷰어 프로필을 확보한 OmniReview 데이터셋이다. 기존 데이터셋이 메타데이터 수준에 머물러 연구자의 전체 학문적 맥락을 포착하지 못한 점을, 논문은 엔티티 정합, 학문 분야 계층화, 검증 절차를 통해 해결한다. 특히, 논문은 후보 라벨링을 “밀도 높은” 방식으로 재구성한다. 논문‑리뷰어 매칭을 단순히 과거 할당 기록에 의존하지 않고, 논문 텍스트와 리뷰어의 연구 주제 간 의미적 매칭을 수행한 뒤, h‑index 등 품질 기준으로 필터링함으로써, 실제 현업에서 발생하는 ‘거짓 음성’ 문제를 크게 감소시킨다.

두 번째 핵심은 평가 프레임워크이다. 기존 연구가 Recall‑중심의 단일 지표에 머물렀던 반면, 저자들은 (1) Recall 단계 – 과거 할당 리뷰어 회수, (2) Discrimination 단계 – 표면적 키워드 일치는 있지만 실제 전문성이 부족한 하드 네거티브 후보 제거, (3) Ranking 단계 – 최종 후보의 정밀 순위 매김, 세 가지 과제로 나누어 각각의 성능을 독립적으로 측정한다. 이는 시스템이 “많은 후보를 찾아내는가”, “잘못된 후보를 걸러내는가”, “가장 적합한 후보를 정확히 순위 매기는가”를 명확히 구분해 진단할 수 있게 한다.

방법론 측면에서 저자들은 기존 임베딩 기반 접근법이 의미 압축으로 인한 정보 손실(특히 세부 분야 구분)과 블랙박스 특성으로 인한 해석성 부족을 지적한다. 이를 해결하기 위해 두 단계 파이프라인을 제안한다. 첫 단계에서는 대형 언어 모델(LLM)을 활용해 각 리뷰어의 논문 집합을 요약·정제한 “Semantic Profile” 텍스트를 생성한다. 이 텍스트는 연구 주제의 미세한 차이를 보존하고, 인간이 직접 검증 가능한 근거를 제공한다. 두 번째 단계에서는 Task‑Adaptive Multi‑gate Mixture‑of‑Experts(MMoE) 아키텍처를 도입한다. 각 과제(Recall, Discrimination, Ranking)에 특화된 전문가 네트워크를 별도로 학습하면서, 공유된 기본 표현을 통해 전이 학습 효과를 얻고, 게이트 메커니즘을 통해 과제 간 충돌을 동적으로 조정한다. 이렇게 하면 넓은 후보 풀을 탐색하는 Recall 과제와, 정밀히 후보를 구분·순위 매기는 과제 사이의 트레이드오프를 효율적으로 해결한다.

실험에서는 OmniReview 벤치마크에 기존 임베딩 기반 모델, 그래프 신경망, 단일‑목표 MMoE 등을 비교한다. Pro‑MMoE는 Recall, Discrimination, Ranking 각각에서 평균 1.02%, 5.39%, 17.15%의 절대 향상을 보이며, 전체 7개 지표 중 6개에서 최고 점수를 기록한다. 특히 Discrimination 단계에서의 큰 폭 상승은 LLM 기반 프로파일이 하드 네거티브를 효과적으로 구분함을 입증한다. 또한, 모델이 제공하는 텍스트형 프로파일은 편집자에게 직접적인 설명 가능성을 제공해 실무 적용성을 높인다.

한계점으로는 LLM 호출 비용 및 프로파일 생성 시 발생할 수 있는 편향 위험, 그리고 다중 과제 학습 시 과제 간 가중치 설정이 여전히 경험적이라는 점을 들 수 있다. 향후 연구에서는 비용 효율적인 LLM 파인튜닝, 프로파일 자동 검증 메커니즘, 그리고 실시간 편집자 피드백을 반영한 온라인 학습 체계 등을 제안한다.

요약하면, OmniReview는 규모·품질·다양성 면에서 현존 최고의 리뷰어 추천 데이터셋을 제공하고, LLM‑MMoE 결합 모델인 Pro‑MMoE를 통해 의미 손실을 최소화하고 해석성을 강화함으로써, 실제 학술 편집 워크플로우에 근접한 평가와 성능을 달성한 점이 가장 큰 혁신이다.