사인 고정 현상: 초기 부호가 지속되는 이유와 서브비트 압축의 병목

초록

본 논문은 가중치 부호(sign)가 서브비트(1비트 이하) 모델 압축에서 고정 비용이 되는 현상을 규명한다. 다양한 Transformer, CNN, MLP 모델에서 학습된 부호 행렬은 낮은 순위 근사에도 거의 변하지 않으며, 스펙트럼적으로 i.i.d. 라데마르(±1)와 구분되지 않는다. 그러나 부호 변동은 초기 부호와 거의 일치하고, 변환은 거의 제로 근처의 희귀한 경계 횡단에 의해 발생한다. 이를 “sign lock‑in” 이론으로 수학화하고, SGD 노이즈 하에서 경계 진입 확률이 작을 경우 부호 전환 횟수가 기하급수적 꼬리를 가진다는 정리를 제시한다. 또한, 간격(gap) 기반 초기화와 외향 드리프트 정규화를 도입해 부호 전환률을 10⁻³ 수준으로 낮추면서도 퍼플렉시티 손실을 1점 이내로 제한한다.

상세 분석

본 연구는 서브비트 압축 상황에서 부호 비트가 유일한 비압축 가능 비용이 된다는 “one‑bit wall” 현상을 실험적으로 확인한다. 저자들은 MLP‑Mixer‑B16, ResNet‑18, TinyLlama‑1.1B‑Chat 등 세 종류의 대표 모델에 대해 가중치를 부호(S)와 절댓값(A)으로 분해하고, 각각의 압축 가능성을 두 축으로 평가한다. 첫째, 낮은 순위 근사 오류 E_r(S)와 E_r(A)를 비교했을 때, 부호 행렬은 순위 비율 q가 증가함에 따라 오류 감소가 현저히 느리며, 절댓값에 비해 압축 효율이 거의 없음을 확인한다. 둘째, 부호 행렬의 스펙트럼을 i.i.d. 라데마르 행렬과 KS 검정으로 비교했을 때, 두 분포 간 차이가 미미하여 부호가 거의 무작위 잡음과 구별되지 않는다. 이러한 결과는 부호가 구조적 정보를 거의 담고 있지 않다는 것을 의미한다.

하지만 부호가 무작위라는 결론만으로는 충분하지 않다. 저자들은 학습 과정에서 부호가 초기화된 값과 얼마나 일치하는지를 추적하였다. 부호 플립 비율 flip(t)를 정의하고, 전체 학습 단계에 걸쳐 대부분의 파라미터가 초기 부호를 유지한다는 사실을 발견했다. 플립은 주로 절댓값이 0에 근접하는 순간에 발생하며, 이는 SGD 노이즈가 경계(0)를 통과할 때만 일어나는 희귀 사건임을 시사한다.

이러한 현상을 이론적으로 설명하기 위해, 저자들은 1차원 확률 과정 w_t를 도입하고 외부 영역( |w|≥ρ )과 경계 영역( |w|≤ε )를 구분한다. 업데이트 크기가 Δ보다 작고, 경계 영역에 재진입할 확률이 g_T<1인 두 가정을 두었다(Assumption 3.3, 3.4). 이때 σ_k, τ_k와 같은 정지 시간을 정의하고, 외부‑외부 부호 전환 횟수 K_eff^T(ρ)를 측정한다. 정리 3.6은 K_eff가 기하급수적 꼬리를 가진다는 것을 보이며, 즉 “sign lock‑in” 현상이 확률적으로 매우 강하게 유지된다는 것을 수학적으로 입증한다.

실험적으로는 다양한 학습률(lr)과 배치 크기에서 K_eff의 히스토그램을 그려, 꼬리가 기하분포와 잘 맞는 것을 확인했다. 또한, 경계 마진 ρ−ε가 커지고 학습률이 감소하며 배치 노이즈가 적당할 때 g_T가 작아져 부호 전환이 더욱 억제됨을 보였다.

이론적 통찰을 바탕으로 두 가지 실용적 개선책을 제시한다. 첫째, 초기화 시 가중치 절댓값에 일정 간격(gap)을 두어 0 근처에 위치하지 않게 만든 “gap‑based initialization”이다. 둘째, 학습 초기에 외향 드리프트(outward‑drift) 정규화 항을 추가해 파라미터가 경계 영역으로 들어가는 확률을 감소시킨다. 두 방법을 결합하면 부호 플립 비율을 약 10⁻³ 수준으로 낮추면서, 언어 모델의 퍼플렉시티는 1점 미만만 상승한다. 이는 서브비트 압축에서 부호 비트를 효과적으로 고정시켜, 전체 저장 비용을 1비트 이하로 낮출 수 있는 중요한 전진이다.