온라인 희소화 기준의 근사 오차 분석

본 논문은 온라인 학습 환경에서 필수적인 희소화(sparsification) 절차를 체계적으로 분석한다. 먼저, 커널 기반 머신러닝 모델이 대표성 정리(Representer Theorem)에 의해 모든 훈련 샘플을 파라미터로 갖게 되면서 모델 차수가 데이터 수와 동일하게 증가하는 문제를 제시한다. 이러한 차수 폭증을 방지하기 위해 사전(dictionary)이라는 제한된 원자 집합을 유지하며, 새로운 샘플이 들어올 때 이를 사전에 포함시킬지 버릴지를 결정하는 온라인 희소화 기준이 필요하다. 가장 전통적인 기준은 근사(approximation) 기준이다. 이는 새로운 커널 함수 κ(x_t,·)를 현재 사전이 생성하는 부분공간에 투영한 뒤, 잔차(norm) ‖κ(x_t,·)−∑_j ξ_j κ(𝑥̂_j,·)‖_H가 사전 정의된 임계값 δ보다 크면 사전에 추가하고, 작으면 버린다. 이 과정은 사전 Gram 행렬 K의 역행렬을 매번 계산해야 하므로 O(m³)의 복잡도를 가진다. 계산 부담을 줄이기 위해 거리(distance), 코히어런스(coherence), 바벨(Babel) 기준이 제안되었다. 거리 기준은 새로운 샘플이 기존 원자들과의 최소 거리보다 충분히 멀리 떨어져 있는지를 검사한다; 코히어런스 기준은 사전 원자들 간 내적(코히어런스)값이 미리 정한 상수 μ보다 작아야 함을 요구한다; 바벨 기준은 누적 코히어런스(여러 원자와의 내적 합)가 일정 임계값을 초과하지 않도록 한다. 이들 기준은 사전 원자들의 상호관계를 간단히 평가하므로 매 단계 O(m) 연산만 필요하다. 논문의 핵심은 이러한 서로 다른 기준들을 하나의 통일된 이론적 틀 안에서 비교·연계한다는 점이다. 구체적으로, (1) “버린 샘플을 현재 사전으로 근사할 때 발생하는 최대 오류”와 (2) “사전에 포함된 샘플을 다른 원자들로 근사할 때 보장되는 최소 오류”에 대한 상한·하한을 각각 도출한다. 거리 기준에 대해서는 최소 거리 d_min을 이용해 ‖error‖ ≤ √(κ(x,x)−d_min²) 형태의 상한을 얻고, 코히어런스 기준에 대해서는 코히어런스 μ와 사전 크기 m을 이용해 ‖error‖ ≤ √(κ(x,x)−μ·(m−1))와 같은 식을 제시한다. 바벨 기준은 누적 코히어런스 ν를 사용해 보다 일반적인 상한을 제공한다. 반대로, 사전에 포함된 원자에 대한 하한은 각 기준이 보장하는 최소 독립성 수준에 의해 결정되며, 이는 사전이 과도하게 축소되지 않도록 하는 안전장치 역할을 한다. 이러한 샘플 수준의 결과를 바탕으로, 논문은 임의의 특징(feature)까지 근사 오류를 확장한다. 특징을 사전 원자들의 선형 결합으로 표현했을 때, 전체 특징 벡터와 근사된 벡터 사이의 오차는 각 원자별 오류의 합으로 상한을 잡을 수 있다. 두 가지 구체적인 사례를 상세히 다룬다. 첫째, 데이터 전체 평균(centroid)인 μ̂ = (1/N)∑_i κ(x_i,·)를 사전 원자들의 가중합으로 근사할 때, 거리·코히어런스·바벨 기준 각각에 대해 평균 오차의 상한을 제시한다. 둘째, 커널 PCA의 주축(주성분)들을 사전 기반 근사 모델로 재구성할 경우, 사전이 원래 고차원 특징 공간에서 주축을 얼마나 정확히 복원하는지를 분석한다. 여기서는 사전 원자들의 정규직교성 및 Gram 행렬의 고유값 분포를 이용해 주축 근사 오차의 상한을 도출한다. 마지막으로, 논문은 제시된 이론이 특정 커널(선형, 다항식, 가우시안 등)이나 데이터 정규화 조건에 제한되지 않으며, 모든 양의 정부호 커널에 적용 가능함을 강조한다. 따라서 실무자들은 계산 복잡도와 근사 정확도 사이의 트레이드오프를 명확히 이해하고, 응용 분야(예: 온라인 회귀, Gaussian Process, RBF 네트워크, 커널 PCA 등)에 가장 적합한 희소화 기준을 선택할 수 있다.