온라인 학습을 위한 트렁케이트 그라디언트 기반 희소성 강화

1. 서론에서는 대규모 데이터셋(예: 10⁷ 샘플, 10⁹ 피처)에서 전통적인 온라인 학습이 메모리와 연산량 때문에 실용적이지 않음을 지적한다. 두 가지 접근법(병렬 배치 학습, 스트리밍 온라인 학습) 중 후자를 선택하고, 기존 방법들이 가중치를 모두 유지해야 하는 문제점을 강조한다. 2. 관련 연구에서는 Lasso와 같은 L1 정규화가 배치 환경에서는 효과적이지만 온라인 환경에 바로 적용하기엔 비용이 크다고 설명한다. 특히 L1 볼에 투영하는 방법은 비제로 피처 수에 비례하는 연산이 필요해 비현실적이다. Forgetron 같은 기존 온라인 희소화 기법은 커널 기반에 최적화돼 있어 선형 피처에선 비효율적이다. 3. 문제 정의와 목표를 명확히 한다. 목표는 (i) 연산 복잡도 O(비제로 피처 수), (ii) 메모리 사용량을 활성 피처만 저장, (iii) 희소성을 연속적인 파라미터 하나로 제어, (iv) 기존 온라인 학습과 비슷한 regret 보장이다. 4. 기본적인 SGD 업데이트 식(3)을 소개하고, 이 방식이 희소성을 전혀 제공하지 않음을 지적한다. 5. 세 가지 희소화 전략을 제시한다. - 5.1 단순 라운딩: 매 K 단계마다 절댓값이 θ 이하인 가중치를 0으로 만든다. 하지만 K와 θ 선택이 민감하고 이론적 보장이 부족하다. - 5.2 L1 정규화 서브그라디언트(식 5): 손실에 L1 패널티를 추가하지만 온라인 단계에서 바로 희소성을 만들지 못한다. - 5.3 트렁케이트 그라디언트(식 6·7): 가중치를 일정량 g만큼 감소시키는 부드러운 트렁케이션 연산 T₁을 도입한다. g와 θ를 조절해 희소성 정도를 연속적으로 제어한다. 특히 g=θ이면 파라미터 하나만 필요하고, θ=∞이면 전통적인 L1 정규화와 동일한 형태가 된다. 6. 이론적 분석에서는 가정 3.1을 기반으로 트렁케이트 업데이트에 대한 일반적인 regret bound를 증명한다. 핵심 결과는 기존 SGD의 regret에 추가적인 L1 패널티 항이 포함되지만, g가 작을 경우 이 항이 미미하다는 점이다. 또한 η를 O(1/√T)로 선택하면 전체 regret이 O(√T) 수준으로 유지된다. 7. 구현 세부사항(섹션 5)에서는 희소 피처 리스트를 해시맵 형태로 관리하고, 매 K 단계마다 트렁케이션을 수행해 활성 피처만 유지한다. 이 구조는 전체 피처 수와 무관하게 메모리와 연산량을 제어한다. 8. 실험(섹션 6)에서는 (a) 대규모 텍스트 데이터, (b) 표준 텍스트 분류 벤치마크, (c) 회귀 데이터셋에 대해 트렁케이트 그라디언트를 적용했다. g와 θ를 변화시켜 희소성 비율을 30%~95%까지 조절했으며, 정확도 손실은 1~2% 이내에 머물렀다. 메모리 사용량은 최대 95% 감소했고, 테스트 시간도 3~5배 빨라졌다. 비교 대상인 온라인 L1 정규화와 단순 라운딩은 희소성 확보에 실패하거나 손실이 크게 증가했다. 9. 결론에서는 트렁케이트 그라디언트가 온라인 학습에서 희소성을 효율적으로 달성하는 실용적인 방법임을 강조한다. 앞으로의 연구 방향으로는 적응형 g·η 스케줄링, 비선형 모델(커널) 확장, 그리고 분산 환경에서의 구현을 제시한다.