실용적인 리만 신경망

본 논문은 “Practical Riemannian Neural Networks”라는 제목 아래, Ollivier(2015)에서 제안된 quasi‑diagonal 리만 메트릭을 실제 비합성 데이터에 적용하고 그 효과를 정량적으로 평가한다. 논문의 서두에서는 기존 확률적 경사하강법(SGD)과 AdaGrad·RMSProp과 같은 1차 메트릭 기반 최적화 기법이 파라미터 스케일링, 활성화 함수 선택, 입력 인코딩 변화 등에 대해 불변성을 보장하지 못한다는 점을 지적한다. 이러한 불변성은 학습 과정에서 하이퍼파라미터 튜닝 부담을 줄이고, 동일한 설정이 다양한 모델에 일반화될 가능성을 높인다. 리만 프레임워크에서는 파라미터 공간에 내재된 내적 ⟨·,·⟩_θ 를 정의하고, 그에 대응하는 양의 정부호 행렬 M(θ)를 사용해 자연경사 θ←θ−ηM(θ)^{-1}∇_θ f 를 계산한다. 여기서 M(θ)는 일반적으로 Fisher 정보 행렬이며, 이는 전체 파라미터 차원에 대해 완전한 형태를 가지므로 직접 계산·저장이 비현실적이다. 저자들은 이를 해결하기 위해 “quasi‑diagonal” 근사를 도입한다. 파라미터를 뉴런 단위 블록으로 나누고, 각 블록에서 대각 성분과 첫 번째 행(편향과 가중치 사이의 상관)을 보존한다. 이렇게 하면 전체 행렬의 비대칭성을 최소화하면서도, 편향‑가중치 변환, 입력 반전(x→1−x) 등 특정 affine 변환에 대해 정확히 불변성을 유지한다. 알고리즘 1(QDSolve)과 알고리즘 2(QDRankOneUpdate)는 각각 quasi‑diagonal 행렬의 역연산과 rank‑one 업데이트를 블록별로 수행하는 절차를 의사코드 형태로 제시한다. 연산 복잡도는 순수 대각 근사에 비해 약 2배 정도 증가하지만, 이는 현대 GPU/CPU 환경에서 충분히 감당 가능한 수준이며, 메모리 사용량도 전체 파라미터 수의 2배 정도에 머문다. 온라인 학습을 위해 Fisher 행렬을 전체 데이터에 대해 매번 재계산하는 대신, 미니배치 기반 이동 평균 M←(1−γ)M+γM_minibatch을 사용한다. γ는 메트릭 업데이트 비율이며, 일반적으로 γ≈1/미니배치 수 로 설정한다. 이렇게 하면 한 에폭이 끝날 때마다 메트릭이 거의 새로워지며, 초기 단계에서는 큰 샘플 집합을 이용해 메트릭을 초기화한다. 초기 메트릭을 단순 항등 행렬로 두면 불변성이 깨지므로, 논문에서는 첫 번째 미니배치에서 메트릭을 완전히 재구성하는 방식을 권장한다. 실험 설정은 다음과 같다. MNIST와 SVHN은 각각 784‑100‑10 및 3072‑500‑10 전형적인 완전 연결 구조를 사용했고, FACE 데이터셋은 3‑conv‑2‑fc 구조, EEG 데이터는 1‑conv‑2‑fc 구조를 적용했다. 모든 실험에서 동일한 학습률 η와 배치 크기를 사용했으며, 드롭아웃(0.5)과 L2 정규화도 동일하게 적용하였다. 결과는 quasi‑diagonal Riemannian 알고리즘이 SGD 대비 테스트 로그우도(또는 교차 엔트로피)에서 0.5%~3% 정도의 절대적 향상을 보였으며, 특히 초기 10~20 에폭에서 급격히 수렴해 전체 학습 에폭 수를 30%~50% 줄일 수 있었다. 연산 시간 측면에서는 메트릭 업데이트와 역연산을 포함해 전체 학습 시간이 백프로파게이션 대비 약 2배 정도 증가했지만, 에폭 수 감소 효과를 고려하면 실제 소요 시간은 오히려 감소하는 경우가 많았다. 또한 드롭아웃과 결합했을 때도 성능 저하가 없으며, 파라미터 스케일링이나 활성화 함수 교체(sigmoid↔tanh) 후에도 학습 궤적이 거의 동일하게 유지되는 것을 확인했다. 구현 측면에서는 저자들이 제공한 코드(riemaNNv1.zip)를 기반으로, 기존 딥러닝 프레임워크에서 gradient와 squared‑gradient를 수집하고, 블록‑단위로 메트릭을 구성·업데이트하는 방법을 상세히 설명한다. 이는 기존 RMSProp·AdaGrad 구현에 최소한의 수정만으로 quasi‑diagonal 자연경사를 적용할 수 있음을 의미한다. 결론적으로, 본 논문은 quasi‑diagonal 리만 메트릭이 완전 Fisher 행렬의 불변성 이점을 유지하면서도 실용적인 연산 비용으로 구현 가능함을 입증한다. 이는 대규모 딥러닝 모델에서도 자연경사법을 적용할 수 있는 길을 열어 주며, 특히 하이퍼파라미터 튜닝 비용을 줄이고 빠른 초기 수렴을 원하는 실제 응용 분야에 큰 가치를 제공한다.