전체 공간과 부분 공간 이차 보간 모델 및 심플렉스 도함수 관계

초록

본 논문은 고차원 파생 자유 최적화에서 사용되는 이차 보간 모델과 심플렉스 도함수를 전체 공간과 저차원 부분 공간에서 각각 구성했을 때의 수학적 관계를 밝힌다. 변환 공식과 일치 조건을 제시하여 두 접근법이 동일한 부분공간에서는 동일하게 동작하고, 직교 보완 방향에서도 특정 일치를 보임을 증명한다.

상세 분석

이 논문은 파생 자유 최적화(DFO)에서 핵심 도구인 이차 보간 모델과 심플렉스 도함수의 전체 공간(Full‑space)과 부분 공간(Subspace) 구현 사이의 정확한 수학적 연관성을 체계적으로 정리한다. 먼저 저차원 아핀 부분공간 (Y={x_{0}+Qb : b\in\mathbb{R}^{d}}) ( (d<n), (Q^{\top}Q=I_{d}) )에 샘플 집합이 포함된다고 가정한다. 이때 함수값을 부분공간 좌표로 변환한 (\tilde f(b)=f(x_{0}+Qb))를 정의하고, 전체 공간 모델과 부분 공간 모델을 각각 최소 노름(MN), 최소 Frobenius 노름(MFN), 최소 Frobenius 노름 업데이트(LFU) 방식으로 구성한다.

핵심 정리는 다음과 같다. 전체 공간 MN 모델의 기울기와 헤시안은 부분 공간 MN 모델의 기울기와 헤시안을 (Q)와 (Q^{\top})를 통해 선형 변환한다는 식
\