자연 하이퍼그라디언트 하강법: EFIM 기반 이중루프 최적화와 병렬 구현

초록

본 논문은 이중루프 형태의 바이레벨 최적화에서 내부 문제의 Hessian 역행렬을 직접 계산하는 비용을 피하고자, 경험적 Fisher 정보 행렬(EFIM)의 역을 Hessian의 일관된 대체물로 이용한다. EFIM은 내부 SGD와 동시에 순위‑1 업데이트로 갱신되며, 이를 통해 하이퍼그라디언트 추정을 병렬화한다. 이 설계는 기존 최적화‑후‑근사 방식과 동일한 고확률 샘플 복잡도와 수렴 속도를 보장하면서, 실제 실험에서 연산 시간과 메모리 사용량을 크게 절감한다.

상세 분석

NHGD는 바이레벨 최적화 문제를 ′외부 변수 v′와 ′내부 변수 θ′ 로 정의하고, 기존 하이퍼그라디언트 식 ∇Φ(v)=∇v f(v,θ*)−(∇²{θ,v}ℓ)ᵀ H(θ*)⁻¹ ∇_θ f(v,θ*) 에서 핵심 병목인 Hessian 역행렬 H(θ*)⁻¹ 를 대체한다. 논문은 내부 손실 ℓ이 KL‑다이버전스 형태임을 가정하고, 이 경우 Fisher 정보 행렬 I(θ) 가 정확히 H(θ) 와 일치한다는 사실을 이용한다(정리 B.2). 따라서 θ가 최적점에 수렴하면 경험적 Fisher 정보 행렬 I_t → I(θ*) 로 수렴하고, 그 역 A_t = I_t⁻¹ 은 H(θ*)⁻¹ 의 일관된 추정치가 된다.

EFIM 업데이트는 매 SGD 스텝마다 ∇θ ℓ(v,θ_t,ξ_t) 의 외적을 누적하는 순위‑1 연산이며, Sherman‑Morrison 공식을 적용해 A_t 를 O(d²) 대신 O(d) 비용으로 갱신한다. 이 과정은 별도의 디바이스(예: GPU‑CPU 혹은 클러스터 노드)에서 비동기적으로 수행될 수 있어, 내부 SGD와 완전 병렬화가 가능하다. 또한 교차 편미분 ∇²{θ,v}ℓ 은 동일한 샘플 경로를 이용해 평균화하거나, 최종 단계에서 추가 샘플을 통해 추정한다.

이론적 기여는 두 가지 고확률 경계에 있다. 첫째, Theorem 4.7 은 A_T 가 H(θ*)⁻¹ 와 ‖A_T−H(θ*)⁻¹‖ ≤ ε 로 수렴하는 샘플 복잡도 O(ε⁻²) 를 제시한다. 둘째, Theorem 4.10 은 외부 변수 v에 대한 ε‑정지점 도달을 위한 전체 샘플 복잡도가 O(ε⁻²) 로, 기존 Neumann, CG 기반 방법들과 동등함을 보인다. 표 1 은 NHGD 가 “EFIM(Parallel) O(1)” 라는 상수 시간 복잡도로 Hessian 근사를 수행함을 강조한다.

실험에서는 메타‑학습, 데이터 정제, 강화학습 정책 파라미터 튜닝 등 대표적인 바이레벨 태스크에 NHGD를 적용하였다. 결과는 동일한 정확도/손실을 유지하면서, 특히 대규모 딥 네트워크(ResNet‑50, Transformer)에서 기존 방법 대비 2~3배 빠른 실행 시간을 기록한다. 메모리 사용량도 EFIM 저장 외에 추가적인 Hessian 행렬을 필요로 하지 않아 GPU 메모리 한계에 크게 구애받지 않는다.

전체적으로 NHGD는 통계적 일관성(EFIM → FIM → Hessian)과 알고리즘적 효율성(순위‑1 업데이트, 병렬 구현)을 동시에 만족시키는 새로운 패러다임을 제시한다. 향후 연구에서는 단일‑루프 변형, variance‑reduction 기법 결합, 그리고 비‑KL 손실에 대한 일반화 가능성을 탐색할 여지가 있다.