노이즈 비교 기반 랜덤 탐색으로 고차원 비볼록 최적화의 차원 저감

초록

본 논문은 고차원 비볼록 함수의 최적화를 위해 오직 순위(쌍 비교)만을 이용하는 Noisy‑Comparison Random Search(NCRS)를 제안한다. 함수가 저차원 활성‑서브스페이스(k≤d) 상에서만 변한다는 가정 하에, 균등 마진(noise) 오라클에서는 ε‑정지점 도달 복잡도가 O(k/(p²ε²))이며, 비교 신뢰도가 간격에 따라 감소하는 일반화된 오라클에서는 다수결 투표 변형이 O(k²/ε⁴) 복잡도를 보인다. 실험은 언어 모델 파인‑튜닝과 선호 기반 강화학습에서 차원 저감 효과를 확인한다.

상세 분석

이 논문은 “비볼록 최적화 + 순위 피드백”이라는 두 가지 어려움을 동시에 해결하려는 시도로, 기존 제로‑오더(gradient‑free) 방법이 d 차원에 선형 의존성을 갖는 한계를 뛰어넘는다. 핵심 아이디어는 함수가 실제로는 k 차원의 선형 서브스페이스 V=range(Aᵀ) 위에서만 변한다는 활성‑서브스페이스 모델을 도입하고, 비교 쿼리는 그 서브스페이스에 투영된 방향만을 효과적으로 탐색한다는 점이다.

알고리즘(NCRS)은 매 반복마다 표준 정규분포에서 무작위 방향 sₜ를 샘플링하고, 스텝 크기 αₜ를 곱한 후보 θₜ+αₜsₜ와 현재 점 θₜ를 비교한다. 비교 결과가 후보가 더 좋다고 판단되면(oracle가 +1을 반환하면) 후보를 채택하고, 그렇지 않으면 현재 점을 유지한다. 이 “improve‑or‑stay” 규칙은 전통적인 직접 탐색(direct‑search) 방식과 동일하지만, 비교는 오직 1비트 정보만 제공한다는 점이 특징이다.

균등 마진 가정(Assumption 1.1)에서는 모든 비동등 쌍에 대해 올바른 순위를 반환할 확률이 ½+p(0<p≤½)로 고정된다. 이 경우, 함수가 f(x)=g(Ax) 형태라면 비교는 실제로 P sₜ (P는 Aᵀ(AAᵀ)⁻¹A) 에만 의존한다. 따라서 기대 감소식은 E