LLM 비교 순위를 활용한 경계 논문에 대한 추가 리뷰 할당

초록

본 논문은 대규모 학술대회에서 여분의 리뷰 용량을 무작위 혹은 친화도 기반으로 배분하는 대신, 논문들의 수용 경계 근처에 집중하도록 제안한다. 이를 위해 장문 컨텍스트 LLM을 이용해 논문 간 쌍별 비교를 수행하고, Bradley‑Terry 모델로 전체 순위를 추정한다. 순위에서 경계 구간을 미리 정의하고, 해당 구간에만 한 번의 추가 리뷰(예: 4번째 혹은 5번째)를 할당함으로써 전체 리뷰 비용은 변하지 않으면서 결정 정확도를 높일 수 있음을 기대한다. 논문은 ρ(예측 경계와 실제 경계의 겹침 비율)와 Δ(경계 논문에 추가 리뷰가 주는 효용 차이)를 이용한 기대 효과식을 제시하고, ICLR 2025 데이터셋을 통해 ρ≈0.41, Δ≈0.024라는 실증적 추정치를 보고한다.

상세 분석

이 연구는 리뷰 할당 문제를 “마진 리뷰”라는 관점에서 재구성한다. 기존 학회에서는 최소 리뷰 수(r_min)를 충족한 뒤 남는 용량(s·N)을 주로 로드 밸런싱이나 친화도 최적화에 사용한다. 그러나 리뷰의 변동성은 수용 경계 근처에서 가장 크게 나타나며, 추가 리뷰가 결정에 미치는 영향(Δ)은 비경계 논문에 비해 현저히 크다. 따라서 저자는 “경계 밴드”를 사전에 식별하고, 그 밴드에만 마진 리뷰를 할당하는 정책을 제안한다. 핵심 기술은 LLM 기반 쌍별 비교이다. 각 논문을 10페이지 이하로 요약하고, 두 논문을 동시에 제시해 어느 쪽이 더 높은 품질인지 묻는 구조화된 프롬프트를 사용한다. 이렇게 얻은 승패 데이터는 Bradley‑Terry 모델에 최대우도 추정으로 적용되어 잠재 점수 θ_i를 도출하고, 이를 내림차순 정렬해 전체 순위를 만든다. 순위 상에서 수용률(예: 상위 25%)을 중심으로 w=0.3(30%) 정도의 구간을 경계 밴드로 정의한다.

정책의 기대 효과는 다음 식으로 정량화된다.
E