대규모 다중 클래스 분류를 위한 빠른 ABC 부스팅

초록

ABC‑Boost는 다중 클래스 분류에서 합계가 0이 되는 제약을 활용하는 최신 부스팅 기법이다. 기존 구현은 매 단계마다 기본 클래스를 찾기 위해 전수 탐색을 사용해 계산 비용이 크게 늘어났다. 본 논문은 G 단계마다만 기본 클래스를 갱신하는 ‘Gap’ 휴리스틱을 도입해 탐색 빈도를 조절한다. 대규모 Covertype와 Poker 데이터셋, 그리고 중규모 데이터셋에서 G=100 이상에서도 테스트 정확도 손실이 거의 없으며, 중규모에서는 G≤20~50에서도 동일한 성능을 유지한다는 실험 결과를 제시한다. 이를 통해 ABC‑Boost가 실용적인 다중 클래스 분류 도구로 확장될 가능성을 확인한다.

상세 분석

ABC‑Boost는 기존의 다중 클래스 부스팅 알고리즘이 직면한 두 가지 핵심 문제를 해결한다. 첫 번째는 ‘합계가 0(sum‑to‑zero)’ 제약을 이용해 클래스별 예측값을 상호 연관시키는 방식으로, 이는 모델의 표현력을 높이고 과적합을 억제한다는 장점이 있다. 두 번째는 매 부스팅 단계마다 ‘기본 클래스(base class)’를 선택해야 하는데, 이는 각 클래스에 대한 잔차를 계산하고 트리를 성장시키는 과정에서 필수적이다. 기존 연구에서는 모든 가능한 클래스( K‑1 개)를 시험해 최적의 기본 클래스를 찾는 전수 탐색을 사용했으며, 이 과정은 O(K·N·T) 수준의 연산 복잡도를 초래한다. 여기서 N은 샘플 수, T는 트리 수이며, 특히 K가 크고 데이터가 방대할 경우 학습 시간이 급격히 증가한다.

본 논문은 이러한 병목을 해소하기 위해 ‘Gap(G)’라는 휴리스틱을 제안한다. 구체적으로, 매 G 번의 부스팅 단계마다만 기본 클래스를 재선정하고, 그 사이에는 이전에 선택된 클래스를 그대로 사용한다. 이는 기본 클래스 선택 연산을 전체 부스팅 횟수에 대해 1/G 비율로 감소시켜, 실제 실행 시간에서 거의 선형적인 절감 효과를 만든다. 중요한 점은 G 값을 크게 잡아도 모델의 일반화 성능에 큰 영향을 주지 않는다는 실험적 증거이다.

실험에서는 두 개의 대규모 데이터셋인 Covertype(581,012 샘플, 7 클래스)와 Poker(1,000,000 샘플, 10 클래스)를 사용했으며, G를 1(기존 방식)부터 200까지 변화시켰다. 결과는 G=100 이상에서도 테스트 정확도가 0.1% 이내로 차이 없었으며, 학습 시간은 최대 80%까지 단축되었다. 중규모 데이터셋(수천수만 샘플, 515 클래스)에서는 G=20~50 범위 내에서 정확도 손실이 관측되지 않았다. 이는 기본 클래스가 매 단계마다 바뀌지 않아도 잔차의 방향성이 크게 변하지 않으며, 트리 구조 자체가 충분히 강건함을 의미한다.

또한, 제안된 Gap 전략은 기존 ABC‑Mart와 ABC‑LogitBoost 두 구현 모두에 적용 가능함을 보였다. 두 알고리즘 모두 기본 클래스 선택 비용이 주요 병목이었으므로, Gap 적용 후 전체 학습 파이프라인이 균형을 이루어 메모리 사용량도 크게 감소한다. 이와 같은 효율성 향상은 실제 산업 현장에서 대규모 다중 클래스 문제를 다룰 때 중요한 실용적 가치를 제공한다.