Scorio.jl 반복 응답 순위 매김을 위한 Julia 패키지

초록

Scorio.jl은 시스템들의 반복된 응답 텐서를 입력으로 받아, 평균, Bradley‑Terry, Rasch, Borda, PageRank 등 10여 가지 순위 알고리즘을 단일 API로 적용할 수 있게 해주는 Julia 패키지이다. 동일한 벡터·텐서 형태의 데이터를 여러 순위 가정 하에 손쉽게 비교·분석할 수 있도록 설계되었으며, 합성 데이터에서의 순위 복구 정확도, 제한된 시도 수에서의 안정성, 그리고 실행 시간 스케일링을 파일럿 실험으로 검증한다.

상세 분석

Scorio.jl은 “반복 응답 텐서” R∈{0,…,C}^{L×M×N}를 핵심 데이터 구조로 채택한다. 여기서 L은 시스템 수, M은 과제(또는 질문) 수, N은 각 과제에 대한 시도(trial) 횟수이다. 이 텐서는 점수 기반, 쌍대 비교, 심리측정, 투표, 그래프, 리스트와이즈 등 다양한 순위 방법이 요구하는 서로 다른 뷰(view)를 내부적으로 변환한다. 예를 들어, 점수 기반 방법은 각 (시스템, 과제) 쌍에 대해 평균 \bar r_{ℓm}=1/N∑{n}R{ℓmn}을 사용하고, 쌍대 비교 방법은 시스템 ℓ과 ℓ′ 사이의 승리 횟수 W_{ℓ,ℓ′}=|{(m,n):R_{ℓmn}>R_{ℓ′mn}|을 계산한다. 투표·리스트와이즈 방법은 각 과제 m에 대해 (R_{1mn},…,R_{Lmn})의 순서를 정렬해 순위 리스트를 만든다. 그래프 기반 방법은 이러한 순위 리스트를 가중치가 부여된 비교 그래프(노드=시스템, 엣지 가중치=승리·패배 비율)로 변환하고, PageRank·Rank Centrality·AlphaRank 등 스펙트럼 알고리즘을 적용한다.

패키지는 점수와 순위의 분리를 강조한다. 대부분의 알고리즘은 연속 점수 벡터를 반환하고, 별도의 tie‑aware 랭킹 레이어가 이를 다양한 순위 체계(competition, dense, ordinal, fractional)로 변환한다. 이를 통해 사용자는 “동점 처리 방식”을 실험적으로 바꿀 수 있다. 또한 MAP‑style 추정에 필요한 사전(prior)도 명시적으로 제공한다. Gaussian, Laplace, Cauchy, uniform, 사용자 정의 사전 등을 지정함으로써 이전 벤치마크 결과를 현재 순위에 반영할 수 있다.

실험에서는 Rasch 모델을 이용해 L=11, M=500, N∈{1,2,4,8,16,32}인 합성 바이너리 텐서를 생성하고, 여러 순위 방법의 복구 정확도를 Kendall τ_b와 평균 절대 순위 오차(MAE)로 평가했다. 대부분의 방법은 N=1에서도 τ_b≈0.96~0.98을 기록했으며, N=32에서는 τ_b≈0.991에 수렴했다. 유일하게 Elo는 순차적 매치 업데이트 특성 때문에 τ_b≈0.62에 머물렀다. 또한 의도적으로 동일 능력을 갖는 두 시스템을 만든 경우, 어떤 방법도 정확히 tie를 복구하지 못했으며, 이는 “정확한 동점 복구”가 순위 추정보다 더 어려운 문제임을 시사한다.

제한된 시도 수(N이 작을 때)에서의 안정성 실험에서는 N_max=64를 기준으로 하여 n∈{1,2,4,8,16,32}만 사용했을 때의 τ_b와 top‑1 일치율을 측정했다. 평균 점수 기반 방법(avg, bayes, g‑Pass@k)과 PageRank, BT‑Davidson은 n=1에서도 τ_b≈0.97, top‑1 일치율 100%를 보였으며, n이 증가함에 따라 거의 완벽에 가까워졌다. Rasch은 초기 τ_b≈0.956이었지만 n=8 이후 급격히 개선되었다. 반면 Elo는 전체적으로 τ_b≈0.58, top‑1 일치율 40% 이하에 머물렀다.

런타임 스케일링에서는 L∈{4,8,16}, M∈{100,500,1000}, N∈{1,4} 조합을 테스트했다. avg, bayes, Borda, PageRank 등은 모든 설정에서 2 ms 이하의 실행 시간을 보였으며, AlphaRank도 비슷한 수준이었다. 반면 Rasch(MML 구현)은 (L,M,N)=(16,1000,1)에서 약 9 s, 12.8 GB 메모리를 소모했다. Kemeny‑Young은 L≤8에서만 실행 가능했으며, 0.34~0.42 s로 가장 비싼 방법이었다. 이러한 결과는 실무에서 “빠른 점수 기반·그래프 방법”을 기본으로 사용하고, 필요에 따라 비용이 큰 심리측정 모델을 선택하도록 가이드한다.

패키지 설계 측면에서 가장 큰 장점은 Julia의 다중 파라다임(다중 디스패치, 고성능 dense array)과 타입 시스템을 활용해 서로 다른 순위 패밀리를 동일 함수 시그니처로 묶었다는 점이다. 사용자는 r = Scorio.bayes(R; return_scores=true)와 같이 간단히 호출하고, rank_scores(s)로 다양한 tie‑aware 순위를 즉시 얻을 수 있다. 또한 2‑차원 입력을 자동으로 3‑차원 텐서로 승격시켜 단일 트라이얼 벤치마크도 동일 코드 경로를 통한다.

전반적으로 Scorio.jl은 “순위 규칙 자체가 실험 변수”인 상황에서 반복 응답 데이터를 일관되게 다루고, 다양한 순위 가정 하에 민감도 분석을 수행할 수 있게 함으로써, 언어 모델 평가, 소프트웨어 벤치마크, 교육 시험 등 여러 도메인에 걸친 연구·산업 현장의 재현 가능성을 크게 높인다.