적응형 완화와 수렴 분석 힐베르트 공간의 탐욕 알고리즘

초록

본 논문은 파워‑완화 탐욕 알고리즘(PRGA)의 수렴성을 α>1인 경우에 부정적으로 입증하고, 대신 정확한 라인 서치를 이용한 최적 완화 계수를 선택하는 새로운 알고리즘(CRGA)을 제안한다. PRGA는 α>1이면 오차가 영으로 수렴하지 않으며, CRGA는 최적 단계 크기로 매 반복마다 오차를 O(m⁻¹ᐟ²) 수준으로 감소시킨다.

상세 분석

논문은 먼저 힐베르트 공간 H와 사전 D(단위 원자들의 집합)의 기본 정의를 제시한다. 기존의 순수 탐욕 알고리즘(PGA)은 매 단계마다 현재 잔차와 가장 큰 내적을 갖는 원자를 선택하고, 선택된 원자를 전부 더하는 방식으로 진행한다. 그러나 사전이 과잉 중복될 경우 수렴 속도가 급격히 저하될 수 있다. 이를 보완하기 위해 DeVore와 Temlyakov가 제안한 완화 탐욕 알고리즘(RGA)은 이전 근사와 새 원자를 1/m 비율로 선형 결합한다. RGA는 원자 노름이 1인 사전에서 A₁(D) 클래스(원자 계수의 ℓ¹ 노름이 1 이하인 함수)에 대해 ‖f−Gₘ‖ ≤ 2√m 의 수렴 경계를 제공한다.

파워‑완화 탐욕 알고리즘(PRGA)은 이 비율을 1/m^α 로 일반화한다. α≤1인 경우 기존 결과가 그대로 유지되어 ‖f−Tₘ‖ ≤ 4 m^{α/2} 로 수렴한다. 논문은 α>1인 경우에 대한 미해결 문제를 해결한다. 핵심은 Lemma 3.1에서 무한곱 P_α = ∏_{k=2}^∞ (1−1/k^α) 가 (0,1) 구간에 존재함을 보이고, 이를 이용해 2차원 사전 D={±e₁,±e₂}와 특정 목표 함수 f=(1−b)e₁+be₂ (0<b<½)를 구성한다. PRGA를 적용하면 각 단계에서 ℓ¹ 노름이 감소하지 않아 잔차 ‖f−Tₘ‖ ≥ b·P_α·√2 >0 가 유지된다. 따라서 α>1이면 오차가 영으로 수렴하지 않으며, Theorem 2.4는 이를 일반적인 부정적 결론으로 정리한다.

이 부정적 결과를 보완하기 위해 논문은 최적 완화 단계(CRGA)를 제안한다. 매 반복마다 잔차와 선택된 원자 사이의 내적을 이용해 최적 γₘ = Π_{