그래프 기반 뉴턴 단계: 헤시안 축적보다 빠른 최적화

초록

본 논문은 함수의 계산 그래프를 이용해 뉴턴 스텝을 헤시안 직접 축적·역산보다 효율적으로 구하는 방법을 제시한다. 트리‑디컴포지션의 폭 τ와 크기 m에 따라 O(m τ³) 시간 복잡도를 달성하며, 제약형 SQP와 무제약형 뉴턴 방법을 연결한다.

상세 분석

이 논문은 기존 2차 최적화에서 핵심적인 병목인 헤시안 행렬의 O(N³) 연산을, 함수의 계산 그래프 구조를 활용해 크게 완화한다는 점에서 혁신적이다. 저자들은 먼저 함수 f:ℝᴺ→ℝ를 DAG 형태의 계산 그래프 G에 매핑하고, 각 노드 v에 상태 X_v와 전파 함수 Φ_v를 정의한다. 무제약 최적화 문제(4)는 입력 노드만을 변수로 하는 형태이며, 이를 동일한 그래프에 ‘=’ 연산을 삽입해 제약형 문제(5)로 전환한다. 제약형 문제의 라그랑지안 L을 구성하고, KKT 조건을 전개하면 (8)식과 같은 선형 시스템이 도출된다. 여기서 핵심은 라그랑지안의 이중 변수 λ_v를 역방향 자동미분(reverse‑mode AD)으로 λ_v=∂_v f 로 즉시 구할 수 있다는 점이다. 이렇게 하면 KKT 시스템의 오른쪽 항이 바로 뉴턴 스텝을 구하기 위한 ‘−∂_Input f’가 된다.

정리하면, 무제약 문제의 뉴턴 방향은 제약형 문제에 대한 SQP 한 단계와 동일함을 정리 1이 증명한다. 이때 KKT 행렬은 원래 헤시안보다 훨씬 희소하며, 특히 트리‑구조를 갖는 그래프에서는 트리‑폭 τ에만 의존하는 O(m τ³) 복잡도로 직접 해를 구할 수 있다(정리 2). 트리‑폭을 최소화하는 문제는 NP‑hard이지만, 실제 최적화 라이브러리에서 널리 쓰이는 휴리스틱(예: 최소 차수 제거 순서)으로 충분히 좋은 근사치를 얻는다.

알고리즘 1은 구체적인 절차를 제시한다. 1) 전방 패스로 모든 비입력 노드의 값과 지역 목적함수, 그 도함수를 계산하고, 2) 역방향 AD로 λ_v를 구한 뒤, 3) KKT 시스템을 풀어 δX_Input을 얻고, 4) 라인서치를 통해 스텝 길이 η를 결정한다. 이때 비입력 변수는 업데이트되지 않으며, 오직 입력 변수만 갱신한다는 점이 기존 SQP와 차별화된다.

특히 최적 제어 문제(3)와 같은 선형 체인 구조에서는 기존 DDP·iLQR 알고리즘과 동일한 백워드/포워드 패스를 재해석할 수 있다. 저자들은 클리크(클러스터) 기반의 행렬 블록 소거 과정을 DDP의 백워드 패스와 동일시하고, 이를 일반 그래프에 확장함으로써 비선형·제약형 문제에도 적용 가능함을 보인다.

한계점으로는 실제 머신러닝 모델(예: 대규모 신경망)의 경우 트리‑폭이 크게 늘어나 O(m τ³) 복잡도가 실용적이지 않을 수 있다. 또한 KKT 행렬의 LDLᵗ 분해 과정에서 중복 계산이 발생할 가능성이 있어, 부분 기호적 압축(symbolic condensation) 기법이 필요하다는 점을 논의한다. 향후 연구 방향으로는 트리‑폭을 감소시키는 그래프 변환, 그리고 고성능 sparse LDLᵗ 솔버와의 연계가 제시된다.

요약하면, 이 논문은 계산 그래프와 자동미분을 결합해 뉴턴 스텝을 헤시안 축적 없이도 효율적으로 구할 수 있는 일반화된 프레임워크를 제공한다. 이는 DDP·iLQR과 같은 특수 케이스를 포괄하며, 트리‑폭이 제한된 문제에서는 이론적 최적 복잡도를 실현한다는 점에서 의미가 크다.