비선형 성능 지표를 최적화하는 혼합정수프로그래밍 기반 분류 트리

초록

본 논문은 F1‑스코어·MCC·FoM 등 비선형·불균형 지표를 직접 최적화할 수 있는 MIP 프레임워크를 제안한다. 고유 인스턴스 압축, 가중 흐름 모델, 특화된 branch‑and‑cut 및 warm‑start 기법을 결합해 50개 벤치마크(최대 245 057 샘플)에서 기존 BendersOCT·DP 방법보다 빠르고 정확하게 최적 트리를 학습한다.

상세 분석

이 연구는 전통적인 CART와 달리 전역 최적성을 보장하면서도 비선형 손실 함수를 직접 다룰 수 있는 혼합정수프로그래밍(MIP) 모델을 설계한다. 핵심 아이디어는 (1) 중복 데이터 포인트를 하나의 고유 인스턴스로 집계하고 가중치를 부여해 변수·제약 수를 크게 감소시키는 ‘Weighted Flow‑Based Optimal Classification Trees (WFlowOCT)’이며, 이는 기존 FlowOCT의 확장 형태이다. 고유 인스턴스 수 |U|는 데이터 차원과 이산화 수준에 의해 상한이 정해지지만, 실제 데이터에서는 수백에서 수천 수준으로 크게 축소된다. (2) 비선형 성능 지표를 혼합정수선형화한다. F1‑스코어, MCC, FoM 등은 혼동 행렬의 원소(TP, FP, FN, TN)의 비선형 조합으로 표현되는데, 저자들은 이들을 절대값·큰수 제한 기법과 보조 변수 도입을 통해 선형 제약식으로 변환한다. 이렇게 하면 MIP 솔버가 직접 목표 함수를 최적화할 수 있다. (3) 스케일러빌리티를 위해 특화된 branch‑and‑cut 알고리즘을 도입한다. 노드 선택 시 특성별 충돌 컷(conflict cuts)과 경로 기반 컷을 동적으로 생성해 탐색 트리의 깊이를 얕게 유지하고, LP 릴랙스 단계에서 강력한 컷을 삽입해 LP 갭을 빠르게 감소시킨다. (4) warm‑start 전략으로 기존 휴리스틱(CART, BinOCT) 결과를 초기 해로 제공하고, Benders 분해를 활용해 마스터 문제와 서브플로우 문제를 교대로 해결한다. 이러한 가속 기법들은 특히 깊이 D≤4인 얕은 트리에서 효과가 두드러진다. 실험에서는 50개 공개 데이터셋(100245 057 샘플, 220 클래스)에서 평균 해결 시간과 메모리 사용량이 기존 BendersOCT 대비 30%60% 감소했으며, 비선형 지표 최적화 시 정확도·F1‑스코어 모두 25%p 향상을 기록했다. 특히 클래스 불균형 비율이 1:100 이상인 데이터에서 MCC와 F1‑스코어가 현저히 개선되었다. 전체적으로 이 논문은 MIP 기반 최적 트리 학습을 비선형·불균형 상황에 확장함으로써 해석 가능성과 예측 성능을 동시에 끌어올린 중요한 진전이다.