정규화 경로 복잡도에 대한 지수 하한

초록

이 논문은 서포트 벡터 머신의 정규화 파라미터에 따라 변하는 해 경로가 선형이 아니라 최악의 경우 지수적으로 많은 구간을 가질 수 있음을 증명한다. 저자들은 n개의 훈련 샘플을 d차원에 배치해 (\Theta(2^{n/2}) = \Theta(2^{d}))개의 서로 다른 서포트 벡터 집합이 나타나는 구체적인 인스턴스를 구성한다. 이는 기존에 가정되던 “선형 복잡도” 가설을 반증하고, 경로 추적 알고리즘의 이론적 한계를 제시한다.

상세 분석

지원 벡터 머신(SVM)은 라그랑주 이중형식으로 표현되는 이차 계획법이며, 정규화 파라미터 C에 따라 최적 초평면이 변한다. 파라미터가 연속적으로 변할 때 최적 해는 조각별 선형 경로를 이루며, 각 조각은 현재의 서포트 벡터 집합이 고정된 구간이다. 기존 연구에서는 이러한 조각 수가 입력 크기에 비례하는 선형 복잡도를 가질 것이라고 가정했으며, 실제 구현에서도 수백 개 정도의 “bend”만 관찰되었다. 그러나 이 논문은 그 가정이 일반적으로 성립하지 않음을 보인다. 저자들은 먼저 SVM의 이중 문제를 다면체(폴리토프) 형태로 해석한다. 파라미터 C가 무한대로 갈 때는 마진 최대화 문제와 동일해지고, C가 0에 가까워질 때는 비용 항이 지배한다. 이 두 극단 사이에서 최적 해는 다면체의 꼭짓점들을 따라 이동한다. 핵심 아이디어는 입력 데이터를 고차원 공간에 배치해 다면체의 꼭짓점 수를 지수적으로 늘리는 것이다. 구체적으로, n개의 점을 d = n/2 차원에 배치하고, 각 점을 두 개의 서로 반대되는 군집으로 나눈다. 각 군집은 서로 다른 라벨을 갖고, 거리와 방향을 정밀히 조정해 모든 가능한 2^{d}개의 서포트 벡터 조합이 최적 해의 전이점이 되도록 만든다. 이때 파라미터 C가 특정 구간을 통과하면 현재 서포트 벡터 집합이 하나씩 바뀌어, 전체 경로는 (\Theta(2^{d}))개의 선형 구간으로 구성된다. 증명은 다면체 이론과 선형 프로그래밍의 기본 정리를 활용해, 각 전이점이 실제로 파라미터 C의 변화에 의해 발생함을 보인다. 따라서 최악의 경우 SVM의 해 경로 복잡도는 입력 크기 n에 대해 지수적으로 증가한다는 강력한 하한을 얻는다. 이 결과는 경로 추적 알고리즘이 반드시 선형 시간에 해결될 수 없으며, 고차원 데이터에서 전체 경로를 계산하는 것이 실질적으로 불가능할 수 있음을 시사한다.