볼록체 학습의 어려움

초록

이 논문은 무작위 표본만으로 $d$ 차원 볼록체를 학습하려면 $\exp(\Omega(\sqrt{d/\varepsilon}))$ 개의 표본이 필요함을 증명한다. 핵심은 오류 정정 코드를 이용해 학습하기 어려운 볼록체 군을 구성하고, 상대 대칭 차이 기준으로 $\varepsilon$ 이하의 근사 집합을 찾는 것이 샘플 수에 따라 불가능함을 보이는 것이다.

상세 분석

본 연구는 고차원 볼록체를 무작위 표본만으로 학습하는 문제에 대한 근본적인 하한을 제시한다. 기존에는 볼록체를 정확히 복원하거나 근사하는 알고리즘이 존재했지만, 그들의 표본 복잡도는 차원 $d$에 대해 다항식 수준이거나, 혹은 $\varepsilon$에 대한 지수적 의존성을 보였다. 저자들은 이러한 상한과는 달리, 표본 복잡도가 $\exp(\Omega(\sqrt{d/\varepsilon}))$ 로 급격히 증가한다는 하한을 증명한다. 핵심 아이디어는 오류 정정 코드의 거리 특성을 활용해 서로 다른 코드워드가 정의하는 볼록체 사이의 대칭 차이를 크게 만들면서도, 각 볼록체가 고차원 단위 구 안에 포함되도록 설계하는 것이다. 구체적으로, 길이 $n$ 인 이진 코드 $C\subset{0,1}^n$ 를 선택하고, 각 코드워드 $c\in C$ 에 대해 $c$ 의 1 비트 위치에 해당하는 좌표축에 작은 돌출(또는 함몰)을 추가한다. 이렇게 하면 두 코드워드 사이의 해밍 거리 $d_H(c,c’)$ 가 클수록 대응하는 두 볼록체 사이의 부피 차이도 커진다. 오류 정정 코드가 보장하는 최소 거리 $d_{\min}= \Theta(\sqrt{n})$ 로부터, $n\approx d$ 로 잡으면 두 볼록체의 상대 대칭 차이는 $\Theta(\sqrt{d})$ 수준이 된다. 따라서 표본이 $\varepsilon$ 이하의 차이를 구분하려면, 각 볼록체에 대한 충분한 표본이 필요하고, 이는 곧 $2^{\Omega(\sqrt{d/\varepsilon})}$ 개의 표본을 요구한다. 이 하한은 정보 이론적 관점에서 볼 때, 무작위 표본만으로는 고차원 볼록체의 미세 구조를 파악하기에 근본적으로 부족함을 의미한다. 또한, 이 결과는 기존의 다항식 표본 복잡도 상한과는 대조적으로, 차원과 정확도 요구가 동시에 커질 때 학습이 실질적으로 불가능함을 보여준다. 논문은 이러한 하한이 기존의 알고리즘적 상한과 일치하지는 않지만, 현재 알려진 상한이 최적이 아님을 시사한다는 점에서 중요한 이론적 기여를 한다.