모멘텀과 확률 라인서치를 결합한 고속 최적화 기법

초록

본 논문은 대규모 딥러닝 학습에 자주 등장하는 무제한 미분 가능 유한합 문제를 대상으로, 미니배치 지속성을 활용해 모멘텀 방향과 확률적 라인서치를 효과적으로 결합한 새로운 최적화 프레임워크를 제안한다. 제안 알고리즘은 공액‑그라디언트 기반 β 파라미터 규칙과 데이터 지속성을 통해 모멘텀의 편향을 억제하고, 이론적으로 PL 조건과 인터폴레이션 가정 하에서 수렴을 보장한다. 실험 결과는 기존 최첨단 옵티마이저들을 능가함을 보여준다.

상세 분석

이 연구는 최근 딥러닝 모델이 인터폴레이션(regime)―즉 모든 훈련 샘플을 완벽히 맞출 수 있는 상황―에서 나타나는 특성을 활용한다. 인터폴레이션 하에서는 미니배치 손실 f_k와 전체 손실 f 사이의 차이가 작아지므로, 스텝 사이즈를 동적으로 조정하는 확률적 라인서치(Armijo 및 비단조 변형)가 이론적 선형 수렴을 달성한다는 기존 연구를 기반으로 한다. 그러나 모멘텀을 도입하면 현재 방향 d_k 가 이전 업데이트 x_{k-1}−x_{k-2} 를 포함하게 되며, 이는 새로운 미니배치 B_k 와 이전 배치 B_{k-1} 가 서로 다를 경우 손실 감소 보장을 깨뜨릴 위험이 있다. 저자는 이 문제를 “미니배치 지속성(mini‑batch persistency)”이라는 간단하지만 효과적인 전략으로 해결한다. 구체적으로, 연속 두 배치 사이에 일정 비율의 샘플을 겹치게 함으로써 f_k 와 f_{k-1} 의 형태를 유사하게 만든다. 이렇게 하면 모멘텀 항이 현재 배치의 그래디언트와 더 높은 상관관계를 갖게 되어, 라인서치 단계에서 요구되는 감소 조건을 만족시키기 쉬워진다.

모멘텀 파라미터 β 의 선택 역시 중요한데, 저자는 전통적인 비선형 공액‑그라디언트(CG) 방법에서 영감을 얻어 β_k 를 β_k = (g_k^T s_{k-1})/(s_{k-1}^T y_{k-1}) 와 같은 형태로 정의한다(여기서 s_{k-1}=x_k−x_{k-1}, y_{k-1}=g_k−g_{k-1}). 이러한 CG‑type 규칙은 이론적으로 β_k 가 0과 1 사이에 머무르게 하여, 모멘텀의 과도한 증폭을 방지하고 수렴성을 유지한다. 또한, 필요 시 재시작(restart) 혹은 서브스페이스 최적화 전략을 도입해 β_k 가 비정상적으로 커지는 상황을 자동으로 교정한다.

수렴 분석에서는 PL(Polyak‑Łojasiewicz) 조건과 인터폴레이션 가정을 전제로, 제안 알고리즘이 기대값 기준으로 선형 수렴률을 달성함을 증명한다. 특히, 모멘텀과 라인서치가 결합된 경우에도 스텝 사이즈 α_k 가 확률적 Armijo 조건을 만족하도록 설계되어, 기존 확률적 라인서치 이론을 그대로 적용할 수 있다. 이론적 결과는 “편향된 방향(biased direction)” 문제를 최소화하기 위한 데이터 지속성의 역할을 정량적으로 설명한다.

실험에서는 선형 모델(Convex)과 다양한 딥 CNN, Transformer 구조(Non‑convex)를 포함한 10여 개 데이터셋에서 Adam, SGD‑Momentum, RMSProp, 그리고 최신 SPS‑based 라인서치 기법들과 비교하였다. 제안 방법은 동일한 연산량(또는 동일한 에포크) 대비 훈련 손실 감소 속도가 가장 빠르고, 최종 테스트 정확도에서도 일관된 우위를 보였다. 특히, 큰 배치(>1024)와 높은 학습률 설정에서 미니배치 지속성이 수렴 속도를 20‑30% 가량 향상시키는 것이 관찰되었다.

요약하면, 이 논문은 (1) 모멘텀과 확률적 라인서치의 충돌 원인을 명확히 규명하고, (2) 미니배치 지속성을 통해 그 충돌을 실질적으로 해소하며, (3) 공액‑그라디언트 기반 β 규칙과 재시작 메커니즘을 도입해 이론적 수렴을 보장하고, (4) 다양한 실험을 통해 실제 딥러닝 훈련에 적용 가능한 성능 향상을 입증한다는 점에서 의미가 크다.