바이어스‑분산 분해를 통한 이중계획 하이퍼파라미터 최적화 일반화 이해

초록

본 논문은 그래디언트 기반 하이퍼파라미터 최적화(HPO)에서 하이퍼그라디언트 추정 오류를 바이어스와 분산으로 분해하고, 기존 이론이 간과해 온 분산 항을 정량적으로 분석한다. 이를 바탕으로 교차검증에서 영감을 얻은 앙상블 하이퍼그라디언트 전략을 제안해 분산을 감소시키고, 정규화 파라미터 학습, 데이터 클린징, few‑shot 학습 등 다양한 실험에서 성능 향상을 입증한다. 또한 하이퍼그라디언트 추정 오류와 과잉 오류(excess error) 사이의 연결 고리를 밝혀 HPO의 일반화 현상을 이론적으로 설명한다.

상세 분석

이 논문은 최근 각광받고 있는 그래디언트 기반 하이퍼파라미터 최적화가 본질적으로 이중(바이레벨) 최적화 문제임을 재확인하고, 하이퍼그라디언트 추정 과정에서 발생하는 오류를 두 가지 성분—바이어스와 분산—으로 명확히 구분한다. 기존 연구들은 주로 “바이어스”, 즉 추정된 하이퍼그라디언트와 실제(무한 데이터) 하이퍼그라디언트 사이의 차이를 줄이는 데 초점을 맞추었으며, 이때 사용되는 수렴 조건, 강제 수축성, 근사 임플리시트 디퍼런시에이션(AID) 혹은 반복 디퍼런시에이션(ITD)의 수학적 보장은 충분히 제시되었다. 그러나 데이터 샘플링에 따른 변동성, 즉 같은 하이퍼파라미터 설정에서도 서로 다른 학습‑검증 분할에 의해 하이퍼그라디언트가 달라지는 현상은 거의 다루어지지 않았다.

논문은 이를 위해 다음과 같은 수식적 전개를 제시한다.

1. 전체 목표함수 f(λ)=E_{D_tr,D_val}