비선형 최소제곱을 이용한 차수 최소화 AAA 알고리즘

초록

본 논문은 기존 AAA 알고리즘이 과도한 차수의 유리함수를 생성할 수 있는 문제를 해결하고자, 선형 최소제곱 단계에 비선형 최소제곱 정제를 도입한 NL‑AAA 방법을 제안한다. Sanathanan‑Koerner와 Whitfield 반복을 활용해 실제 비선형 오차를 최소화하고, 그라디언트 분석을 통해 단조 수렴을 보장한다. 수치 실험에서 절대값·ReLU 함수 근사와 모델 차원 축소 사례에 대해 기존 AAA보다 낮은 차수로 동일 혹은 더 높은 정확도를 달성함을 확인하였다.

상세 분석

AAA 알고리즘은 데이터‑드리븐 유리함수 근사에서 널리 쓰이는 그리디 방식으로, 매 반복마다 최대 오차점(지원점)을 선택하고, 선택된 지원점들을 고정한 뒤 가중치 w를 선형 최소제곱(Levy 근사)으로 구한다. 이때 최소화되는 목적함수는 실제 비선형 잔차 ‖n(z;w)−d(z;w)H(z)‖²가 아니라, 분자와 분모를 별도로 다루는 선형화된 형태이므로, 최적 가중치가 진정한 비선형 최소제곱 해와 차이가 발생한다. 특히 복잡한 비선형 특성을 가진 함수(예: ReLU)에서는 이 차이가 급격히 커져 차수가 불필요하게 증가한다.

논문은 이 문제를 해결하기 위해 두 가지 비선형 최소제곱 정제 기법을 도입한다. 첫 번째는 Sanathanan‑Koerner(S‑K) 반복으로, 현재 가중치 w⁽ᵗ⁾를 이용해 분모 d(z;w⁽ᵗ⁾)로 데이터를 정규화하고, 정규화된 데이터에 대해 선형 최소제곱을 수행한다. 두 번째는 Whitfield 반복으로, 현재 근사 r⁽ᵗ⁾(z)와 실제 데이터 H(z) 사이의 비율을 직접 최소화한다. 두 방법 모두 Wirtinger 미분을 이용해 목적함수의 복소수 그라디언트를 명시적으로 도출했으며, 이 그라디언트가 기존 AAA의 선형화된 그라디언트와 어떻게 다른지를 정량적으로 분석하였다.

핵심 이론적 결과는 다음과 같다. (1) S‑K와 Whitfield 반복은 각각 현재 가중치에 대한 1차 Taylor 전개를 이용해 비선형 잔차의 실제 기울기를 반영한다. 따라서 가중치 업데이트가 실제 비선형 최소제곱 경로에 더 가깝게 진행된다. (2) 두 반복 모두 가중치‖w‖₂=1이라는 정규화 제약을 유지하면서도, 업데이트 단계에서 발생하는 스케일 불확실성을 자연스럽게 제거한다. (3) 그라디언트 분석을 통해, 지원점 선택과 가중치 업데이트를 순차적으로 수행하는 그리디 프레임워크가 “오차 단조 감소” 성질을 만족함을 증명하였다. 즉, 차수가 하나씩 증가할 때마다 전체 ℓ₂ 오차가 절대적으로 감소한다는 보장을 제공한다.

알고리즘적 구현 측면에서는 기존 AAA와 거의 동일한 구조를 유지한다. 지원점 선택 단계는 그대로 유지하고, 선택된 지원점 집합에 대해 S‑K 혹은 Whitfield 반복을 일정 횟수(보통 35회) 수행한 뒤, 최종 가중치를 정규화한다. 이 과정은 기존 선형 최소제곱 단계와 비교해 연산량이 크게 증가하지 않으며, 특히 Cauchy 행렬 구조를 활용한 고속 SVD 계산을 그대로 사용할 수 있다. 따라서 대규모 데이터(수천수만 샘플)에서도 실시간에 가까운 실행이 가능하다.

실험에서는 (i) 절대값 함수 |x|와 ReLU 함수에 대해 501개의 균등 샘플을 사용했으며, (ii) 전형적인 모델 차원 축소 문제(대규모 선형 시스템의 전이함수)에서 10⁴~10⁵개의 주파수 포인트를 이용했다. 결과는 두 함수 모두에서 NL‑AAA가 동일 혹은 더 낮은 차수(k)로 목표 오차(10⁻⁶ 수준)를 달성함을 보여준다. 특히 ReLU와 같이 비연속적인 기울기를 가진 경우, 기존 AAA는 차수가 20 이상까지 필요했지만 NL‑AAA는 차수 12 정도로 충분했다. 모델 차원 축소 실험에서도, 원 시스템 차수 N≈10⁴인 경우 NL‑AAA는 차수 k≈30에서 10⁻⁴ 이하의 상대 오차를 기록했으며, AAA는 k≈45에서야 같은 정확도를 얻었다.

요약하면, 이 논문은 AAA 알고리즘의 핵심 약점인 “선형화된 가중치 최적화”를 비선형 최소제곱 정제로 보완함으로써, 차수 최소화와 정확도 보장을 동시에 달성한다. 그라디언트 기반 이론 분석과 단조 수렴 보장은 실용적인 신뢰성을 제공하고, 기존 코드베이스와의 호환성 덕분에 실제 엔지니어링 워크플로우에 바로 적용할 수 있다.