주관적 평가 데이터의 상한 상관계수 rho 퍼펙트

초록

본 논문은 인간 평가의 내재적 잡음으로 인해 모델‑인간 상관계수가 1에 도달하지 못하는 한계를 정량화한다. 저자는 완벽한 예측기와 인간 평균 평점 사이의 피어슨 상관을 “ρ‑Perfect”라 정의하고, 이값을 이분산(heteroscedastic) 잡음 상황을 고려해 추정하는 방법을 제시한다. ρ‑Perfect 제곱값은 테스트‑재테스트 상관과 동일함을 보이며, 실제 음성 품질 데이터와 영화·음악 추천 데이터에 적용해 모델 성능 한계와 데이터 신뢰도 문제를 구분한다.

상세 분석

논문은 먼저 주관적 평점 데이터가 아이템별로 서로 다른 수의 평가자와 서로 다른 변동성을 가질 수 있다는 점을 강조한다. 기존의 동분산 가정에 기반한 ICC·Cronbach‑α 등은 이러한 이질성을 반영하지 못해 모델‑인간 상관의 실제 상한을 과대 혹은 과소 평가한다. 이를 해결하기 위해 저자는 “완벽한 예측기” f̂ = E