미니배치 최적화와 딥 Cox 모델: 통계적 기반 및 실용 가이드

초록

본 논문은 딥 Cox 신경망(Cox‑NN) 학습에 널리 사용되는 확률적 경사 하강법(SGD)이 실제로는 미니배치 평균 부분가능도(average mini‑batch partial‑likelihood)를 최적화한다는 점을 밝히고, 이를 목표함수로 하는 미니배치 최대 부분가능도 추정량(mb‑MPLE)의 통계적 특성을 체계적으로 연구한다. Cox‑NN에 대해 mb‑MPLE는 일관성을 가지며, 최소극대(minimax) 수렴률을 로그항(polylog) 정도 차이로 달성한다. 선형 Cox 회귀에서는 배치 크기가 커질수록 √n‑일관성과 점근적 정규성을 유지하고, 정보 하한에 근접하는 효율성을 보인다. 또한, 학습률과 배치 크기의 비율이 SGD 동역학에 핵심적인 역할을 함을 이론과 실험을 통해 제시하고, 실제 대규모 이미지‑생존 데이터에 적용한 사례를 통해 mb‑MPLE의 실용성을 입증한다.

상세 분석

본 연구는 기존 Cox 모델 최적화가 전체 데이터에 대한 부분가능도(partial likelihood)를 직접 최대화해야 하는 계산·메모리 병목을 갖는 반면, SGD를 이용한 미니배치 학습이 실제로는 “배치 평균 부분가능도”를 최소화한다는 근본적인 차이를 규명한다. 이를 위해 저자들은 새로운 목표함수 E