F‑측정의 함정: 왜 우리는 더 나은 평가 지표를 찾아야 하는가

초록

F‑measure는 Recall과 Precision을 조화 평균으로 결합하지만, 단일 클래스 초점, 편향 민감성, 분포 가정 오류, 거리 측정 불가능 등 근본적인 결함이 있다. 논문은 이러한 문제점을 체계적으로 분석하고, MAP, R‑Precision, ROC‑Informedness 등 대안 지표를 제시한다.

상세 분석

이 논문은 F‑measure가 왜 “실수”에 기반한 지표인지를 수학적·통계적 관점에서 파헤친다. 첫째, F‑measure는 실제 양성(RP)과 예측 양성(PP)의 평균 크기로 TP를 나누는 형태인데, 이는 Dice와 Jaccard을 혼동한 결과이며, 집합론적 해석이 잘못 적용된 사례다. 둘째, F‑measure는 하나의 클래스(양성)만을 고려한다는 근본적인 한계가 있다. TN을 전혀 반영하지 못해, 실제로는 N이 증가해도 F‑score는 변하지 않는다. 셋째, 편향(Bias)과 유병률(Prevalence)의 차이에 민감하게 반응한다. 시스템이 다수 클래스를 무시하고 소수 클래스에만 최적화하면 높은 F‑score를 얻을 수 있지만, 이는 실제 성능을 왜곡한다. 넷째, E‑measure(1‑F)와 F‑measure는 삼각 부등식을 만족하지 못해 거리(metric)로 사용할 수 없으며, 클러스터링이나 시각화에 부적합하다. 다섯째, 평균화 방법이 모호하다. macro‑average를 적용할 때 가중치가 실제 분포를 반영하지 못해, “가상의 중간 분포”에 대한 평균값을 산출하게 된다. 마지막으로, 논문은 MAP, R‑Precision, ROC‑Informedness, G‑measure 등 대안을 제시하며, 각각이 어떻게 편향을 보정하고, 다중 클래스와 TN을 포함하며, 거리 측정 가능성을 제공하는지 상세히 설명한다. 이러한 분석을 통해 F‑measure가 특정 상황(예: 한 클래스만 관심 있는 경우)에서는 여전히 유용할 수 있지만, 일반적인 머신러닝·정보검색 평가에서는 부적절함을 설득력 있게 증명한다.