정규화 상호정보량을 이용한 이진 분류 성능 평가와 정확도·정밀도·재현율 간의 관계식

초록

본 논문은 분류기의 성능을 평가하는 기본 문제에 대해 다룬다. 기존에 널리 사용되는 정확도와 같은 전통적인 성능 지표는 분류기 선택이나 평가에 흔히 이용되지만, 정보 이론에 기반한 상호정보량과 같은 지표는 특징 및 모델 선택 단계에서 점차 주목받고 있다. 본 연구에서는 분류기의 평가 지표로 정규화 상호정보량(NI)을 제안한다. NI는 0과 1 사이의 명확한 구간으로 정의되어 분류기 성능을 직관적으로 비교할 수 있다. 우리는 이진 분류 상황에서 NI와 정확도, 정밀도, 재현율 사이의 폐쇄형 관계식을 유도하였다. 이 관계들을 탐색함으로써 NI가 실제로 각 전통적인 성능 지표에 대해 비선형 함수이며, 특히 지수 형태의 일치성을 갖는다는 사실을 밝혀냈다. 또한 이러한 관계식은 정밀도·재현율 혹은 위양성률·재현율(히팅 레이트) 형태로도 표현될 수 있다.

상세 요약

이 논문은 분류 성능 평가에 정보 이론적 접근을 도입함으로써 기존의 통계적 지표와는 다른 관점을 제공한다는 점에서 학술적 의의가 크다. 먼저 저자들은 정규화 상호정보량(NI)을 “0~1” 구간에 매핑함으로써, 성능 지표 간의 비교가 직관적이고 일관되게 이루어질 수 있음을 강조한다. 이는 특히 다중 모델을 동시에 비교하거나, 임계값을 조정하면서 모델의 변화를 추적해야 하는 상황에서 유용하다.

논문이 제시한 핵심 기여는 다음과 같다.

1. 폐쇄형 관계식 도출: NI와 정확도(Accuracy), 정밀도(Precision), 재현율(Recall) 사이의 정확한 수식적 관계를 유도하였다. 이때 NI는 각 지표의 함수 형태가 단순 선형이 아니라, 지수형 비선형 함수임을 보였다. 예를 들어, 정확도가 증가함에 따라 NI는 급격히 상승하지만, 일정 수준을 넘어서는 포화 현상이 나타난다. 이는 정보량이 이미 충분히 확보된 상황에서는 추가적인 정확도 향상이 정보 이득으로는 크게 반영되지 않음을 의미한다.
2. 다중 표현 가능성: 동일한 NI를 정밀도·재현율 혹은 위양성률·히팅 레이트(재현율) 형태로도 표현할 수 있음을 보여준다. 이는 실제 현업에서 흔히 사용하는 ROC 곡선이나 PR 곡선과 직접 연결될 수 있는 다리 역할을 한다. 즉, NI를 기준으로 ROC 곡선상의 여러 점을 동일한 정보량으로 해석할 수 있다.
3. 비선형 함수군으로서의 NI: 저자들은 NI가 단일 함수가 아니라, 입력 지표에 따라 형태가 달라지는 “함수군”임을 제시한다. 이는 NI가 단순히 “정확도 = 0.9이면 NI = 0.9”와 같은 일대일 대응이 아니라, 정밀도·재현율의 비율, 클래스 불균형 정도 등에 따라 다른 곡선을 그린다는 의미다. 따라서 NI를 활용할 때는 해당 데이터셋의 특성을 고려한 해석이 필요하다.

실제 적용 가능성을 살펴보면, 의료 영상 진단, 사기 탐지 등에서 양성·음성 클래스가 불균형한 경우 정밀도와 재현율이 서로 상충한다. 기존에는 F1-score와 같은 조화 평균을 사용했지만, NI는 이러한 상충을 정보량 관점에서 통합적으로 평가한다. 또한, 피처 선택 단계에서 상호정보량을 기반으로 변수의 기여도를 측정하는 것이 일반적인데, 정규화된 형태이므로 다른 피처와 직접 비교가 용이하다.

제한점도 존재한다. 첫째, NI는 이진 분류에만 명시적으로 다루고 있으며, 다중 클래스 상황으로 확장할 경우 추가적인 가정이 필요하다. 둘째, NI와 전통 지표 사이의 비선형 관계식은 로그와 제곱근 등을 포함하므로, 실제 구현 시 수치적 안정성을 확보하기 위한 정밀도 조정이 요구된다. 셋째, 클래스 불균형이 극단적으로 심한 경우(예: 1:1000) NI가 여전히 유의미한 차이를 포착할 수 있는지에 대한 실증 연구가 부족하다.

종합적으로, 이 논문은 정규화 상호정보량을 통해 분류기 성능을 보다 포괄적이고 정보 이론적으로 해석할 수 있는 틀을 제공한다. 특히 정확도·정밀도·재현율 간의 비선형 관계를 명시함으로써, 기존 지표들의 한계를 보완하고 새로운 평가 기준을 제시한다는 점에서 향후 연구 및 실무 적용에 큰 파급 효과를 기대할 수 있다.