멀티변수 테일러 다항식으로 손실 함수 최적화: TaylorGLO 접근법

본 논문은 딥러닝 학습 과정에서 핵심적인 역할을 하는 손실 함수를 메타지식으로 보고, 이를 자동으로 설계·최적화하는 새로운 프레임워크인 TaylorGLO를 제안한다. 기존 연구인 Genetic Loss Optimization(GLO)은 손실 함수의 구조를 트리 형태로 표현하고, 유전 프로그래밍(GP)으로 구조를 진화시킨 뒤, 별도의 연속 최적화(CMA‑ES)로 계수를 조정하는 두 단계 방식을 사용했다. 이러한 이중 최적화는 구조와 계수 사이의 상호작용을 충분히 포착하지 못하고, 트리 변형이 함수의 연속성을 보장하지 못해 탐색 효율이 낮다는 한계를 가지고 있었다. TaylorGLO는 이러한 문제점을 해결하기 위해 손실 함수를 다변량 테일러 다항식으로 파라미터화한다. n‑클래스 분류 손실 L = −(1/n)∑₁ⁿ f(xᵢ, yᵢ)에서 f를 k차 다변량 테일러 전개 ˆfₖ(x, y; a)로 대체한다. 전개식은 중심점 a와 모든 다중 지수 α( |α|≤k )에 대한 편미분 계수 ∂^α f(a)로 구성되며, 총 파라미터 수는 n + ( n + k )!/(n! k!) 로 계산된다. 논문은 3차 전개(k=3)를 기본으로 삼아, 실제 실험에서는 불필요한 항을 제거해 8개의 파라미터만 남긴 식(5)을 사용한다. 이렇게 하면 손실 함수는 완전히 연속적이고, 폴(pole)이나 불연속점이 없으며, 덧셈·곱 연산만으로 구현 가능하고, 자동 미분이 용이해진다. 검색 알고리즘으로는 Covariance Matrix Adaptation Evolution Strategy(CMA‑ES)의 (μ/μ, λ) 변형을 채택한다. 초기 평균 벡터는 전혀 편향되지 않은 θ̂_f = 0으로 설정하고, 각 세대에서 λ개의 후보 θ를 샘플링한다. 후보 손실 함수로 신경망을 몇 에포크(보통 5~10)만 학습시킨 뒤 검증 정확도를 적합도로 사용한다. 부분 학습은 전체 학습과 높은 상관관계를 보이며, 빠르게 수렴하는 손실 함수를 자연스럽게 선호한다는 부수 효과도 있다. 적합도 평가가 실패하면 재시도하고, 평가 과정은 다중 GPU 클러스터에 분산시켜 효율성을 높인다. 실험 설정은 세 가지 이미지 분류 벤치마크(MNIST, CIFAR‑10, SVHN)와 다양한 네트워크 아키텍처(기본 CNN, AlexNet, AllCNN‑C, Pre‑activation ResNet‑20, Wide ResNet 등)를 포함한다. 각 데이터셋에 대해 동일한 하이퍼파라미터와 학습 스케줄을 유지하면서, TaylorGLO가 발견한 손실 함수를 기존 교차 엔트로피와 GLO가 제시한 Baikal 손실과 비교한다. 결과는 다음과 같다. - MNIST에서 TaylorGLO는 평균 0.8 % 높은 정확도를 기록했으며, 특히 10 % 이하의 학습 샘플만 사용할 경우 정규화 효과가 두드러졌다. - CIFAR‑10에서는 ResNet‑20 기반 모델에서 1.1 % 향상을 보였고, Wide ResNet에서도 유사한 개선이 관찰되었다. - SVHN에서도 0.9 % 정도의 정확도 상승을 달성했으며, Cutout과 같은 데이터 증강 기법과 결합했을 때도 손실 함수 자체가 제공하는 정규화가 추가적인 이득을 주었다. TaylorGLO가 발견한 손실 함수는 일반적인 교차 엔트로피에 비해 라벨에 대한 과적합을 억제하는 항을 포함한다. 예를 들어, (yᵢ − θ₁)³와 같은 고차 항이 학습 초기에 큰 손실을 부여해 모델이 빠르게 일반화하도록 유도한다. 이러한 특성은 데이터가 부족하거나 라벨 노이즈가 존재할 때 특히 유용하다. 논문은 또한 다른 함수 근사 기법과의 비교를 통해 테일러 전개의 장점을 강조한다. Fourier 급수는 주기성 때문에 비주기적 손실에 부적합하고, 고주파 진동으로 인해 그래디언트가 불안정하다. Padé 및 Laurent 근사는 폴을 포함할 수 있어 손실 함수로서의 안정성을 해칠 위험이 있다. 다변량 테일러는 이러한 문제를 회피하면서 차수 k를 조절해 복잡도를 직접 제어할 수 있다. 한편 한계점도 명시한다. 테일러 전개는 중심점 a 근처에서만 정확히 근사되므로, 손실 함수가 넓은 영역에서 복잡한 형태를 가질 경우 고차 전개가 필요하고, 파라미터 수가 급증한다. 또한 부분 학습 기반 적합도 추정은 초기 학습 단계의 변동성에 민감해, 전역 최적점을 놓칠 가능성이 있다. 향후 연구에서는 다중 중심점 혼합, 적응형 차수 선택, 혹은 테일러 전개와 신경망 기반 메타‑모델을 결합한 하이브리드 접근법을 탐색할 것을 제안한다. 결론적으로 TaylorGLO는 손실 함수 메타러닝에 연속형 최적화와 수학적 근사의 강점을 결합한 효율적인 프레임워크를 제공한다. 실험 결과는 적은 세대 수와 제한된 연산량으로도 기존 방법을 능가하는 손실 함수를 발견할 수 있음을 보여주며, 손실 함수 설계가 하이퍼파라미터 튜닝과 동등한 자동화 대상이 될 수 있음을 시사한다.