소프트웨어 동료 평가 리뷰어 배정 문제 해결을 위한 선호 행렬과 비대칭 TSP 모델 기반 접근법

초록

본 논문은 소프트웨어 교육 현장에서 학생들이 수행하는 동료 평가의 리뷰어 배정을 최적화하기 위해, 학생들의 선호를 반영한 선호 행렬을 구축하고 이를 비대칭 여행 판매원 문제(ATSP) 모델에 적용한다. 설문을 통해 얻은 리뷰어와 저자 각각의 선호 행렬을 규칙 행렬로 변환하고, ILOG CPLEX를 이용해 ATSP 모델을 해결한다. 실험 결과, 리뷰어와 저자 선호를 모두 고려한 배정이 무작위 배정보다 우수했으며, 두 선호를 병합했을 때는 무작위와 거의 동일한 성능을 보였다. 이는 고수준 학생이 낮은 수준 학생에게 리뷰를 맡기기 꺼려하지만, 전체 학생들은 조화로운 학습 환경을 선호한다는 점을 시사한다.

상세 분석

이 연구는 소프트웨어 공학 교육에서 흔히 사용되는 동료 평가(peer review) 과정의 핵심인 리뷰어-저자 매칭 문제를 수학적 최적화 문제로 재구성한다는 점에서 의의가 크다. 기존 문헌에서는 학술 논문이나 특허 심사와 같은 전통적인 리뷰 시스템에 초점을 맞추었으나, 교육 현장의 동료 평가는 참여자 모두가 동시에 저자이자 리뷰어라는 이중 역할을 수행한다는 특수성을 가진다. 따라서 단순히 전문성이나 주제 적합성을 기준으로 매칭하는 기존 방식은 적용하기 어렵다.

논문은 먼저 설문지를 통해 학생들이 자신이 리뷰하고 싶은 대상(선호 리뷰어)과 자신이 받고 싶은 리뷰(선호 저자)를 5점 척도로 평가하도록 하여 두 개의 선호 행렬(P_R, P_A)을 구축한다. 이때 행렬의 행은 리뷰어, 열은 저자를 의미한다. 설문 결과를 그대로 사용하면 비대칭성이 심하고, 직접적인 비용 행렬로 활용하기엔 부적절하므로, 저자와 리뷰어 각각의 선호를 역변환(inverse)하고 정규화하여 규칙 행렬(R_R, R_A)을 만든다. 규칙 행렬은 “리뷰어가 특정 저자를 리뷰할 때 발생하는 비용”을 수치화한 것으로, 비용이 낮을수록 선호도가 높다.

다음 단계에서는 비대칭 여행 판매원 문제(ATSP)를 선택한다. ATSP는 각 노드(학생)를 한 번씩 방문하고 시작점으로 돌아오는 최소 비용 순회를 찾는 문제이며, 여기서는 “리뷰어가 저자를 순차적으로 리뷰하는 경로”로 해석한다. ATSP 모델에 규칙 행렬을 비용 행렬로 입력하고, 서브투어 제약(subtour elimination constraint)을 조정하여 전체 매칭이 하나의 순환이 아니라 N개의 독립적인 리뷰어-저자 쌍으로 구성되도록 한다. 이는 전통적인 ATSP와 달리 “한 번에 하나의 리뷰어가 하나의 저자를 담당”하도록 모델을 변형한 것이다.

모델 구현에는 IBM ILOG CPLEX Optimizer를 사용했으며, 종료 기준을 ‘모든 서브투어가 길이 2인 경우’로 설정함으로써 각 리뷰어-저자 쌍이 정확히 하나씩 매칭되도록 보장한다. 실험은 세 가지 시나리오(리뷰어 선호만 사용, 저자 선호만 사용, 두 선호를 가중 평균으로 병합)로 진행했으며, 무작위 매칭과 비교했다. 결과는 리뷰어 선호만 사용했을 때 가장 큰 성능 향상을 보였고, 저자 선호만 사용했을 때도 유의미한 개선이 있었다. 그러나 두 선호를 병합했을 경우, 성능 차이가 무작위와 거의 차이가 없었다. 이는 고수준 학생(우수한 프로그래밍 실력 보유)이 낮은 수준 학생에게 리뷰를 맡기는 것을 꺼려하지만, 전체 학생 집단은 ‘조화로운 발전’이라는 사회적 선호를 가지고 있음을 의미한다.

이 논문의 주요 기여는 다음과 같다. 첫째, 교육 현장의 동료 평가에 특화된 선호 기반 비용 행렬을 설계하고, 이를 기존의 ATSP 최적화 프레임워크에 적절히 매핑한 점. 둘째, 서브투어 제약을 조절하여 ATSP를 ‘쌍 매칭’ 문제로 변형함으로써 실제 리뷰어-저자 배정에 직접 적용 가능한 모델을 제시했다. 셋째, 실험을 통해 학생들의 심리적·사회적 선호가 매칭 효율에 미치는 영향을 정량화함으로써, 단순한 기술적 최적화가 아니라 인간 요소를 고려한 배정 전략의 필요성을 강조했다. 향후 연구에서는 선호 행렬에 시간 가중치(예: 과제 마감일)나 역량 기반 가중치를 추가하고, 다중 리뷰어(한 저자에게 여러 리뷰어가 배정) 상황을 확장하는 방안을 모색할 수 있다.