역축적 자동미분

초록

본 논문은 자동미분(AD)에서 Jacobian‑역벡터와 Jacobian‑역전치벡터 연산을 전방·후방 AD와 동등한 비용으로 수행할 수 있는 “역축적 모드”를 제안한다. 핵심은 각 원시 연산의 Jacobian이 역전시에도 동일한 희소 구조를 유지한다는 사실이며, 이를 위해 연산 그래프를 일정한 폭(constant‑width)으로 분할하고, 활성 변수 수가 입력 차원과 일치하도록 “덩어리(lump)”화하는 기법을 소개한다. 이 방법은 뉴턴 단계와 같은 1차 최적화뿐 아니라 ODE 적분기의 역전도 효율적으로 구현할 수 있음을 보인다.

상세 분석

논문은 먼저 전통적인 전방 AD와 후방 AD가 각각 Jacobian·벡터 곱과 Jacobianᵀ·벡터 곱을 수행한다는 점을 상기한다. 여기서 목표는 역축적 모드, 즉 Jacobian⁻¹·벡터와 Jacobian⁻ᵀ·벡터 연산을 동일한 복잡도로 구현하는 것이다. 이를 위해 저자들은 데이터 흐름 그래프를 원시 연산(덧셈, 곱셈, 로그 등)의 “기본 함수” 단위로 분해하고, 각 단계의 전이 함수 fₜ가 입력 변수의 일부를 읽고 하나의 출력 슬롯에 결과를 기록하도록 설계한다. 이러한 설계 하에 Jacobian Jₜ는 블록 삼각 형태
\