제약 조건을 만족하는 종단 학습을 위한 소프트 방사형 투영

초록

본 논문은 기존의 정사영(orthogonal projection) 방식이 외부 점을 경계면에 강제로 투사하면서 발생하는 그래디언트 포화 문제를 해결하고자, 라디얼(방사형) 매핑을 이용해 모든 출력이 제약 집합의 내부에 위치하도록 하는 소프트 방사형 투영 레이어를 제안한다. 이 레이어는 거의 모든 지점에서 전치 행렬이 전순위(full‑rank)이며, 역함수와 미분 가능성을 보장한다. 이론적으로 보편 근사성(Universal Approximation Property)을 유지함을 증명하고, 포트폴리오 최적화와 자원 배분 실험에서 기존 최적화‑기반 및 정사영 기반 방법보다 빠른 수렴과 높은 품질의 해를 얻는다.

상세 분석

이 논문은 제약식이 존재하는 안전‑중요 시스템에서 딥러닝 모델이 직접적으로 제약을 만족하도록 설계하는 문제에 초점을 맞춘다. 기존의 건설적 레이어는 입력을 제약 집합 C의 경계 ∂C 로 정사영하는데, 이는 외부 점 u∈ℝⁿ이 C 밖에 있을 때 P(u)=argmin_{v∈C}‖u−v‖₂ 로 정의된다. 정사영은 외부 공간을 저차원 경계면에 압축하므로, Jacobian J_P(u)는 경계에 수직인 방향에서 영벡터가 되고, 이는 “gradient saturation”이라 불리는 현상을 초래한다. 최적화 과정에서 외부 점이 경계에 닿으면 그래디언트가 사라져 학습이 정체된다.

이를 극복하기 위해 저자들은 라디얼(방사형) 투영 q(u)를 정의한다. 고정된 내부 앵커 u₀∈Int(C)를 기준으로, u를 원점(또는 u₀)에서 C까지 연장한 광선을 따라 가장 먼 내부 점을 찾는다. 구체적으로 α*(u)=sup{α∈