역문제 해결을 위한 근접 연산자와 해밀턴자코비 방정식 연결 기반 딥러닝

초록

본 논문은 근접 연산자와 해밀턴‑자코비(HJ) 편미분 방정식 사이의 수학적 연관성을 이용해, 사전(prior) 함수를 직접 학습하는 새로운 딥러닝 프레임워크를 제안한다. 기존 방법이 사후에 역변환을 필요로 하는 반면, 제안 방식은 HJ 방정식의 점성 해(solution)에서 얻은 반전(Backwards Viscosity Solution) 형태의 사전을 convex neural network 로 근사한다. 고차원 실험을 통해 효율성과 정확성을 입증한다.

상세 분석

논문은 먼저 근접 연산자 proxₜᴶ(x)=arg min_y {½t⁻¹‖x−y‖²+J(y)}와 HJ 방정식
∂ₜS+½‖∇ₓS‖²=0, S(x,0)=J(x) 사이의 고전적 연결을 재조명한다. Lax‑Oleinik 공식 S(x,t)=inf_y {½t⁻¹‖x−y‖²+J(y)}는 바로 근접 연산자의 최소화 문제와 동일함을 보이며, 점성 해가 존재할 경우 S는 (1/t)-semiconcave, 즉 ψ(x,t)=½‖x‖²−tS(x,t) 가 convex 함수를 만든다. 이때 근접 연산자는 x−t∇ₓS(x,t) 로 표현될 수 있다.

핵심 이론적 기여는 ‘역 HJ 문제’를 이용해 사전 J를 직접 복원하는 방법이다. 주어진 t와 샘플 {x_k, S(x_k,t), ∇S(x_k,t)} 로부터 ψ는 convex 특성을 유지하므로, J_BVS(y)=sup_x {S(x,t)−½t‖x−y‖²} 라는 표현을 통해 사전을 정의한다. 이 사전은 원래 J보다 하한이며, x−t∇S(x,t) 에서 정확히 일치한다. 따라서 충분히 많은 샘플이 있으면 J_BVS 를 근사하는 것이 가능하다.

논문은 이 복원 과정을 신경망으로 구현한다. 입력으로 y를 받아 Ĵ(y)=f_θ(y) 를 출력하는 입력‑convex 신경망(ICNN)을 설계하고, 손실 함수는 (i) ψ의 convexity 를 강제하는 semi‑concave 제약, (ii) 샘플링된 S와 ∇S와의 일치성을 최소화하는 재구성 손실을 결합한다. 특히, ψ의 convexity 를 직접 미분 가능한 형태로 구현함으로써 최적화 과정에서 Lagrange multiplier 없이도 convex 제약을 만족하도록 설계했다.

실험에서는 고차원(예: 100‑dimensional) Gaussian‑blur inverse problem, 전산 토모그래피, 그리고 비선형 압축 센싱 문제를 대상으로 기존 Learned Proximal Networks(LPN)와 Plug‑and‑Play Denoiser 기반 방법과 비교하였다. 제안 방법은 동일한 연산량에서 재구성 오류가 평균 15‑20% 감소했으며, 학습 후 사전 함수를 직접 해석 가능하게 제공한다는 추가적인 장점을 보였다. 또한, 사전이 비볼록(non‑convex) 형태라도 ψ가 convex 를 유지하도록 설계할 수 있음을 실험적으로 확인하였다.

이 논문은 근접 연산자와 HJ 방정식 사이의 이론적 다리 역할을 딥러닝에 적용함으로써, 사전 학습 후 역변환이 필요 없는 새로운 패러다임을 제시한다. 특히, 점성 해와 반전 점성 해의 convexity 특성을 활용한 ICNN 기반 사전 추정은 고차원 역문제에서의 계산 복잡도와 정확도 사이의 트레이드오프를 크게 개선한다는 점에서 학계와 산업계 모두에게 의미 있는 기여라 할 수 있다.