분류기 적응을 통한 성능 지표 효율적 최적화

초록

본 논문은 기존의 성능 지표 최적화 방법이 비선형·비부드러운 지표에 대해 학습이 어려운 문제를 해결하고자, 두 단계 접근법인 CAPO를 제안한다. 첫 단계에서 오프‑더‑쉘프 학습 알고리즘으로 비선형 보조 분류기를 학습하고, 두 번째 단계에서 이 보조 분류기를 특정 성능 지표에 맞게 적응시켜 이차계획법(QP) 형태로 변환한다. 이를 통해 다양한 컨틴전시 테이블 기반 지표와 AUC를 포함한 비선형 성능 지표를 효율적으로 최적화하면서도 계산 비용을 크게 낮출 수 있음을 실험을 통해 입증한다.

상세 분석

CAPO(Classifier Adaptation for Performance Optimization)는 기존 연구가 “성능 지표를 직접 최적화하는” 방식에 머물러 비선형·비부드러운 지표에 대해 학습이 어려운 한계를 극복하기 위해 두 단계로 문제를 분해한다. 첫 단계에서는 기존의 강력한 비선형 학습기(예: 커널 SVM, 트리 기반 모델 등)를 활용해 보조 분류기 (f_{aux})를 빠르게 학습한다. 이때 보조 분류기는 성능 지표와 무관하게 일반적인 손실(예: hinge loss)로 최적화되므로, 기존 라이브러리를 그대로 사용할 수 있어 구현 비용이 최소화된다.

두 번째 단계는 핵심 적응 과정이다. 여기서는 보조 분류기의 출력 (f_{aux}(x))에 선형 보정 파라미터 (\mathbf{w})와 바이어스 (b)를 추가해 최종 분류기 (f(x)=\mathbf{w}^\top \phi(x)+b) 형태로 만든다. 이때 (\phi(x))는 보조 분류기의 결정값을 특징으로 사용하거나, 커널 트릭을 적용해 고차원 공간으로 매핑한다. 목표는 특정 성능 지표 (M)에 대한 구조적 위험을 최소화하는 것이며, 이를 위해 기존 SVMperf에서 제안한 구조적 SVM 프레임워크를 차용한다.

핵심은 성능 지표 (M)가 정의하는 손실 함수 (\Delta(y,\hat{y}))가 비선형·비부드러울지라도, 적응 파라미터 ((\mathbf{w},b))에 대한 최적화는 여전히 이차계획법(QP) 형태로 변환될 수 있다는 점이다. 구체적으로, 라그랑주 이중 문제를 구성하면
\