순차적 복잡도로 보는 온라인 학습

초록

본 논문은 순차 예측 게임의 최소극값을 분석하기 위해 기존 통계학습 이론의 복잡도 개념을 순차적 상황에 확장한 ‘순차 복잡도’를 제안한다. 이를 통해 감독 학습에서 온라인 학습 가능성의 필요충분 조건을 제시하고, 명시적 알고리즘 없이도 학습 가능성을 증명할 수 있는 프레임워크를 제공한다.

상세 요약

논문은 먼저 온라인 학습을 두 플레이어가 번갈아 가며 선택하는 제로섬 게임으로 모델링한다. 이때 학습자는 매 라운드마다 예측 함수를 선택하고, 적대자는 데이터와 레이블을 순차적으로 제시한다. 최소극값(minimax value)은 학습자가 최적 전략을 사용했을 때 적대자가 얻을 수 있는 최대 손실을 의미한다. 기존 i.i.d. 환경에서 사용되는 VC 차원, Rademacher 복잡도, covering number 등은 독립성 가정에 크게 의존한다는 한계가 있다. 저자들은 이러한 복잡도 개념을 ‘시퀀셜 Rademacher 복잡도’, ‘시퀀셜 covering number’, ‘시퀀셜 난이도’ 등으로 일반화한다. 핵심 아이디어는 각 라운드에서 적대자가 선택할 수 있는 함수들의 집합을 트리 구조로 표현하고, 그 트리 위에서 평균화된 랜덤 사인값을 이용해 복잡도를 정의하는 것이다. 이렇게 정의된 순차 복잡도는 게임의 최소극값을 상한 및 하한으로 정확히 잡아준다. 주요 정리에서는 (1) 순차 Rademacher 복잡도가 0에 수렴하면 온라인 학습이 가능함을, (2) 반대로 순차 복잡도가 일정 수준 이상이면 학습이 불가능함을 보인다. 특히, 감독 학습 상황에서 손실 함수가 Lipschitz 연속이면 순차 복잡도와 손실의 평균 레지듀얼을 연결시켜, 기존의 ‘무한 샘플 복잡도’와 동일한 형태의 일반화 경계를 얻는다. 또한, 저자들은 ‘예측 가능한 가중치’와 ‘전략적 정규화’를 통해 복잡도 기반 알고리즘 없이도 학습 가능성을 증명하는 방법을 제시한다. 예시로는 선형 클래스, 신경망, 그리고 비선형 커널 클래스에 대해 순차 복잡도를 계산하고, 기존 알고리즘(예: 온라인 퍼셉트론, OGD)보다 더 일반적인 학습 가능성 결과를 도출한다. 이 과정에서 ‘시퀀셜 파라미터 차원’이라는 새로운 개념을 도입해, 파라미터 공간이 무한 차원이라도 순차 복잡도가 유한하면 온라인 학습이 가능함을 보여준다. 전체적으로 논문은 온라인 학습 이론에 복잡도 기반의 통일된 분석 틀을 제공함으로써, 기존에 알고리즘 중심으로만 논의되던 학습 가능성 문제를 구조적·수학적으로 풀어낸다.