보편적 압축 이론으로 로또 티켓 가설과 신경 스케일링 법칙을 풀다

초록

이 논문은 순열 불변 함수를 다루는 보편적 압축 정리를 증명하고, 이를 통해 대규모 신경망과 데이터셋을 다항 로그 규모로 압축할 수 있음을 보인다. 이 결과는 학습 역학을 유지하는 “동적 로또 티켓 가설”을 이론적으로 뒷받침하고, 기존의 느린 신경 스케일링 법칙을 지수적·초지수적 수렴으로 가속화할 수 있음을 시사한다.

상세 분석

본 연구는 순열 대칭성을 갖는 함수 f : V^d → ℝ에 대해, 객체(데이터 포인트 혹은 뉴런 가중치)들의 집합 θ = {w_i}{i=1}^d 를 다항 로그(d) 개수의 가중 객체 집합 θ′ = {(c_j, w_j)}{j=1}^{d′} 로 압축할 수 있음을 보이는 보편적 압축 정리를 제시한다. 핵심은 다변량 대칭 다항식에 대한 기본정리(FTSP)와 Tchakaloff 정리를 활용해, k 차까지의 순간(moment)만 보존하면 원 함수값이 완전히 유지된다는 점이다. 순간을 매칭하기 위해서는 N_{m,k}=C(m+k, k) 개수 이하의 가중 객체만 필요하며, 이는 차원 m과 차수 k에만 의존한다. 논문은 객체들의 직경이 작을수록 압축 오차가 O(d r^{k+1}) 로 급격히 감소함을 보이며, 구형 포장(sphere packing) 논리를 통해 d가 매우 클 때 직경이 O((N/d)^{1/m}) 인 군집을 찾아낼 수 있음을 증명한다. 알고리즘 1은 이러한 군집을 반복적으로 찾아 순간을 매칭함으로써, 최종적으로 d′ = polylog(d) 로 압축하면서 오차를 0에 수렴시킨다.

이 압축 이론을 두 가지 응용에 연결한다. 첫째, 신경망의 파라미터를 객체로 보았을 때, 압축 후에도 가중치들의 순간이 동일하므로 학습 중 발생하는 그래디언트와 손실 풍경이 변하지 않는다. 따라서 원 네트워크와 압축된 네트워크는 동일한 학습 역학을 공유하게 되며, 이는 “동적 로또 티켓 가설”(Dynamical Lottery Ticket Hypothesis)을 엄밀히 증명한다는 의미다. 기존 LTH는 서브네트워크가 동일한 최종 성능을 달성한다는 점만을 보였지만, 여기서는 학습 과정 전체가 보존된다는 강력한 결과를 제공한다.

둘째, 데이터셋을 객체 집합으로 간주하면, 동일한 순간을 유지하는 소수의 가중 데이터만으로도 원 손실 함수 L(θ) 를 거의 동일하게 재현할 수 있다. 따라서 전통적인 신경 스케일링 법칙 L ∝ N^{−α} (α≈0.1~0.3) 를, 압축된 데이터 크기 N′ = polylog(N) 로 대체함으로써, 실질적인 스케일링 지수를 크게 향상시킬 수 있다. 논문은 이를 수학적으로 exp(−α′ N^{1/m}) 형태의 초지수적 감소로 전환 가능함을 보이며, 데이터 효율성을 인간 수준에 가깝게 끌어올릴 가능성을 제시한다.

이론적 증명은 매끄러운 함수에 대해 Taylor 전개와 순간 매칭을 전제로 하지만, 실험에서는 ReLU 네트워크와 비매끄러운 손실에도 동일한 압축 효과가 관찰된다. 복잡도 측면에서 순간 매칭 단계는 O(d N_{m,k}^2) 로 고차 순간일수록 비용이 급증하지만, 실제 구현에서는 k‑means 기반 군집화와 저차 순간 매칭으로 충분히 실용적인 시간 안에 압축이 가능함을 보인다.

전체적으로 이 논문은 대규모 모델과 데이터의 구조적 대칭성을 이용해 정보량을 근본적으로 감소시킬 수 있음을 증명하고, 이를 통해 학습 효율성, 모델 경량화, 그리고 스케일링 법칙 개선이라는 세 가지 핵심 문제에 대한 새로운 이론적 해법을 제공한다.