약점볼록 제약을 위한 단일루프 힌지 페널티 알고리즘

초록

본 논문은 목적함수와 제약함수가 모두 약점볼록(weakly‑convex)인 확률적 비볼록 최적화 문제를 다룬다. 기존의 이중루프 방식이나 수렴 속도가 느린 방법들을 대체하기 위해, 상수 페널티 파라미터를 사용하는 힌지 기반 정확 페널티를 도입한 단일루프 stochastic 알고리즘을 제안한다. 제안 알고리즘은 ϵ‑KKT 근사 해를 찾는 데 O(ϵ⁻⁶) 복잡도를 달성하며, 이를 제한된 합성형 목표(FCCO)에도 확장한다. 실험에서는 ROC 공정성 제약과 연속학습의 비망각 제약을 적용해 기존 방법 대비 우수함을 확인한다.

상세 분석

이 논문은 약점볼록(weakly‑convex) 목적함수와 제약함수를 동시에 포함하는 확률적 비볼록 최적화 문제를 정확 페널티 방법으로 해결한다는 점에서 의미가 크다. 기존 연구들은 주로 이중루프 구조를 사용해 매 반복마다 볼록화된 서브문제를 풀었으며, 그 결과 복잡도가 O(ϵ⁻⁶) 수준이었지만 구현 복잡도와 메모리 요구가 높았다. 저자들은 힌지 함수 (