신경망 기반 예측보정기로 호모토피 문제 해결

초록

본 논문은 다양한 분야에서 사용되는 호모토피 기법을 하나의 통합 프레임워크로 정리하고, 기존의 휴리스틱 기반 예측‑보정 절차를 강화학습으로 학습된 정책으로 대체한다. NPC(Neural Predictor‑Corrector)는 단계 크기와 보정 종료 조건을 상태‑행동‑보상 형태의 마르코프 결정 과정으로 모델링하고, 오프라인에서 문제 인스턴스 집합에 대해 한 번 학습한 뒤 새로운 인스턴스에 즉시 적용할 수 있는 amortized training 방식을 제안한다. 네 가지 대표적인 호모토피 문제(강건 최적화, 전역 최적화, 다항식 근 찾기, 샘플링)에서 실험을 수행해 기존 전통적·전문화된 방법보다 효율성과 안정성에서 우수함을 입증한다.

상세 분석

본 연구는 호모토피 패러다임을 “소스 문제 → 타깃 문제” 사이의 연속적인 보간 함수 H(x, t)로 정의하고, 이 보간을 따라 해(solution) 궤적을 추적하는 예측‑보정(Predictor‑Corrector, PC) 구조가 대부분의 기존 알고리즘에서 핵심임을 확인한다. 기존 PC 알고리즘은 단계 크기 Δt와 보정 반복 횟수·허용 오차와 같은 파라미터를 경험적으로 설계했으며, 이는 문제마다 최적화가 달라 재조정이 필요하고, 복잡한 궤적에서는 비효율·불안정성을 초래한다. 논문은 이러한 설계 결함을 해결하기 위해 PC 과정을 MDP로 재구성한다. 상태 s는 현재 호모토피 레벨 tₙ₋₁, 이전 보정 허용 오차 εₙ₋₁, 이전 보정 반복 횟수 iₙ₋₁, 그리고 수렴 속도 τₙ₋₁을 포함한다. 행동 a는 (Δtₙ, εₙ 또는 iₙ^max) 두 부분으로, 예측 단계의 전진 거리와 보정 단계의 종료 기준을 동시에 결정한다. 보상 r은 정확도와 효율성을 동시에 고려한 가중합으로, 목표 함수값 감소량·샘플링 거리 감소·연산 시간 등을 통합한다.

학습은 정책 그래디언트 기반 강화학습(RL)으로 수행되며, 여러 문제 인스턴스를 포함하는 데이터셋 위에서 오프라인 학습한다. 이렇게 얻어진 정책은 amortized training이라는 개념 하에, 새로운 인스턴스에 대해 추가 미세조정 없이 바로 적용 가능하도록 설계되었다. 이는 기존 학습 기반 방법이 개별 인스턴스마다 재학습해야 하는 한계를 극복한다.

네 가지 실험 설정은 각각 (1) Graduated Non‑Convexity(GNC) 기반 강건 최적화, (2) Gaussian Homotopy를 이용한 전역 최적화, (3) Homotopy Continuation을 이용한 다항식 근 찾기, (4) Annealed Langevin Dynamics를 이용한 고차원 샘플링이다. 각 도메인에서 NPC는 기존 전통적 PC 알고리즘(예: Levenberg‑Marquardt, Gauss‑Newton, 고정 스케줄)보다 평균 30%~50% 적은 연산량으로 동일하거나 더 높은 정확도를 달성했으며, 특히 급격한 비선형 전이 구간에서 단계 크기를 자동으로 축소해 수렴 실패를 크게 감소시켰다. 또한, 정책이 문제 인스턴스 간에 공유되면서도 각 인스턴스 특성에 맞게 동적으로 조정되는 모습을 시각화와 정량적 분석을 통해 확인하였다.

한계점으로는 현재 정책 네트워크가 비교적 간단한 MLP 구조에 의존해 복잡한 고차원 상태 공간에서 최적 행동을 찾는 데 한계가 있을 수 있다. 또한, 보상 설계가 도메인별 메트릭에 크게 의존하므로, 새로운 호모토피 문제에 적용하려면 보상 함수를 재조정해야 하는 점이 있다. 향후 연구에서는 트랜스포머 기반의 상태 인코더와 멀티‑태스크 학습을 도입해 보다 일반화된 정책을 탐색하고, 메타‑RL 기법을 활용해 보상 설계 없이도 자동으로 목적 함수를 추정하는 방향을 제시한다.