객관적 분류 평가를 위한 정보이론 기반 측정법 총정리

** 본 연구는 “객관적”이라는 개념을 명확히 정의하고, 이를 기반으로 정보이론적 측정값(ITM)들을 체계적으로 탐구한다. 먼저, 객관적 평가를 “자유 파라미터를 포함하지 않는 함수”로 정의함으로써, 비용 행렬이나 사용자 지정 가중치에 의존하지 않는 순수 데이터 기반 평가 체계를 제시한다. 이 정의는 평가 결과가 주관적 판단에 좌우되지 않으며, 동일 데이터에 대해 언제나 동일한 값을 반환한다는 장점을 제공한다. 연구의 두 번째 단계에서는 상호정보량(Mutual Information, MI), KL‑발산(Kullback‑Leibler Divergence, KL), 교차엔트로피(Cross‑Entropy, CE) 세 가지 정보이론적 원천에서 각각 8가지씩, 총 24개의 정규화된 ITM을 도출한다. 정규화 과정은 각 측정값을 0‑1 구간으로 매핑하여, 서로 다른 스케일을 가진 지표들을 직접 비교할 수 있게 한다. 모든 측정값은 확장 혼동 행렬(실제 클래스 m 개와 거부 클래스 1개를 포함)만을 입력으로 하며, 비용 정보는 전혀 필요하지 않다. 세 번째로, 저자는 ITM을 선택하고 평가하기 위한 세 가지 메타‑측정 기준을 제안한다. 첫 번째 메타‑측정은 **오류·거부 구분 능력**으로, 측정값이 Type I, II 오류와 Reject (N/P) 유형을 각각 독립적으로 반영하는지를 평가한다. 두 번째 메타‑측정은 **클래스 불균형에 대한 견고성**으로, 소수 클래스가 과소평가되지 않고 전체 성능을 균형 있게 나타내는지를 검증한다. 세 번째 메타‑측정은 **단조성 및 해석 가능성**으로, 혼동 행렬의 대각 원소(정확한 분류)가 증가하면 측정값이 반드시 상승하는지를 확인한다. 각 ITM을 위 세 메타‑측정에 적용한 결과, 일부 기존 연구에서 사용된 정규화된 상호정보량(NMI) 계열은 대각 원소가 증가해도 비단조적(non‑monotonic) 변화를 보여, 실제 성능을 과대·과소 평가할 위험이 있음을 발견했다. 반면, 정규화된 KL‑발산 기반 지표는 모든 메타‑측정에서 일관된 단조성을 보이며, 오류와 거부를 별도 가중치 없이도 자연스럽게 구분한다. 특히, **정규화된 KL‑발산(가칭 KL‑NORM)** 은 (i) 오류 유형별 기여도를 선형적으로 분해, (ii) 거부 비율이 증가하면 측정값이 감소하는 단조적 특성, (iii) 0과 1 사이의 고정된 상한·하한을 유지해 직관적인 해석이 가능하다는 장점을 갖는다. 논문은 실제 데이터 예시로 Mackay가 제시한 두 혼동 행렬 C_D와 C_E를 사용한다. 기존 ROC·AUC·정확도 기반 평가는 두 행렬이 동일한 오류·거부 비율을 보이므로 차이를 구분하지 못한다. 그러나 제안된 ITM을 적용하면, C_D가 소수 클래스에 대해 더 많은 정확한 분류를 수행함을 객관적으로 확인할 수 있다. 이는 비용 정보를 알 수 없는 상황에서도 실제 성능 차이를 드러내는 중요한 사례이다. 마지막으로, 최적 ITM으로 선정된 정규화된 KL‑발산에 대한 수학적 특성을 상세히 증명한다. (1) **오류 유형 분해**: 측정값을 Type I, II 오류와 Reject (N/P) 비율의 선형 결합 형태로 표현, 각 항의 가중치를 명시적으로 도출한다. (2) **단조성 증명**: 대각 원소가 증가하면 KL‑NORM이 단조 증가함을 미분을 통해 보이며, 거부 비율이 증가하면 감소함을 동일하게 증명한다. (3) **경계값**: 완전 정확(모든 샘플이 올바르게 분류) 시 값은 1, 완전 오류(모든 샘플이 잘못 분류) 시 값은 0으로 수렴한다. 이러한 특성은 비용 행렬이 없거나 비용을 추정하기 어려운 실제 응용(의료 진단, 사기 탐지 등)에서 바로 활용 가능하도록 만든다. 결론적으로, 본 연구는 비용‑프리, 파라미터‑프리 객관적 평가 프레임워크를 제시하고, 24개의 ITM 중 메타‑측정 기반으로 최적의 지표를 선정함으로써 오류·거부 구분이 필요한 현대 분류 문제에 실용적인 해결책을 제공한다. **