무작위 추적 기반 최적화 기법

본 논문은 무작위 방향 선택과 1차원 선검색을 결합한 Random Pursuit(RP) 알고리즘을 제안하고, 이를 무제한(zeroth‑order) 최적화 문제에 적용한다. 먼저 기존 무작위 최적화 기법들의 배경을 소개하며, 특히 경사 정보가 전혀 없는 블랙‑박스 시뮬레이션 환경에서의 필요성을 강조한다. 기존 연구들(예: Evolution Strategies, Nesterov의 무작위 방향 기법)과 비교해 RP는 순수하게 방향과 선검색만을 사용한다는 점에서 구현이 간단하고 파라미터 설정이 거의 필요하지 않다. 알고리즘은 다음과 같이 정의된다. 매 반복 k에서 단위 구면 S^{n‑1}에서 균등하게 방향 uₖ를 샘플링하고, 함수 f를 방향 uₖ에 대해 최소화하는 스칼라 hₖ=LS(xₖ,uₖ)를 구한다. 여기서 LS는 정확 선검색 오라클이며, 실제 구현에서는 절대 오차 µ 또는 상대 오차 µ를 허용하는 근사 선검색 LS_approx을 사용한다. 업데이트는 xₖ₊₁ = xₖ + hₖ·uₖ 로 수행된다. 이론적 분석은 크게 네 부분으로 전개된다. 첫째, 무작위 벡터와 고정 벡터의 내적에 대한 기대값을 구해, 구면분포와 정규분포 사이의 관계를 정리한다(Lemmas 3.1‑3.4). 둘째, 함수 가정으로 미분 가능하고 볼록하며, 이차 상한(곡률 상수 L₁)을 만족하는 C¹_{L₁} 클래스를 정의한다. 강볼록성(m>0)도 별도로 고려한다. 셋째, 이러한 가정 하에 RP의 1스텝 기대 진행량을 계산한다. 정확 선검색일 때 기대 감소량은 (1/n)L₁⁻¹‖∇f(xₖ)‖²이며, 근사 선검색에서는 추가 오차 항이 존재하지만 강볼록 함수에 대해서는 선형 수렴을 유지한다. 넷째, 기대값 기반 수렴 결과를 바탕으로 전체 수렴률을 도출한다. 강볼록 경우에는 f(xₖ)−f(x*) ≤ (1−m/(nL₁))^k·(f(x₀)−f(x*)), 즉 선형 수렴을 보이며, 일반 볼록 경우에는 O(1/k) 수렴을 얻는다. 이러한 결과는 구형 함수에 대한 알려진 하한과 일치한다. 또한, RP는 단조 변환(g∘f)에 대해 불변성을 가진다. 선검색 오라클이 최적 h를 찾는 과정은 함수값 순서를 보존하므로, f와 g∘f가 동일한 최적점 경로를 따라가며 수렴 특성이 변하지 않는다. 이는 비볼록 함수라도 적절한 단조 변환을 통해 RP를 적용할 수 있음을 의미한다. 실험에서는 10가지 벤치마크 함수(강볼록 이차형, 라그랑지안, 비선형 등)를 사용해 RP, 고정 스텝 경사법, 라인서치가 포함된 경사법, Nesterov의 무작위 방향 기법 및 가속 버전, (1+1)-ES와 비교한다. 결과는 다음과 같다. (i) 강볼록 함수와 중간 조건수에서는 RP가 다른 무작위 기반 방법보다 빠르게 수렴한다. (ii) 근사 선검색(µ=10⁻⁴)에서도 수렴 속도가 크게 감소하지 않는다. (iii) 이산 방향 샘플링({±e_i})을 사용해도 기대값 기반 이론이 유지되며, 고차원 실험에서 연산 비용이 크게 감소한다. (iv) 제안된 가속 휴리스틱(RP‑A)은 기존 RP보다 2‑3배 빠른 수렴을 보이며, Nesterov의 가속 무작위 경사법과 비슷하거나 더 우수한 성능을 나타낸다. 특히, 조건수가 큰 함수에서도 RP‑A는 스텝 사이즈 조정 없이 안정적인 수렴을 유지한다. 논의 섹션에서는 RP의 장점(단순성, 파라미터 최소화, 단조 변환 불변성)과 한계(기대값 기반 수렴이 고확률 보장을 제공하지 않음, O(n) 차원 의존성) 를 정리한다. 향후 연구 과제로는 고확률 수렴 경계 강화, 비구면 샘플링 설계, 비볼록 함수에 대한 이론 확장, 그리고 실시간 시뮬레이션 및 대규모 머신러닝 모델에의 적용을 제시한다. 결론적으로, Random Pursuit는 제로차 정보만으로도 강볼록 및 일반 볼록 함수에 대해 확실한 수렴을 보장하는 실용적인 무작위 최적화 기법이며, 가속 휴리스틱을 통해 현대 고차원 문제에서도 경쟁력 있는 성능을 발휘한다.