분산 환경에서 일반 비선형 제약을 다루는 ADMM 확장
본 논문은 기존 ADMM이 선형 제약만 다룰 수 있던 한계를 넘어, 임의의 볼록 부등식 제약을 직접 처리할 수 있는 알고리즘을 제안한다. 비선형 부등식을 동일한 형태의 등식 제약(g(x)=0)으로 변환하고, 증강 라그랑지안에 포함시켜 두 단계의 반복(프라임 변수 업데이트와 라그랑지안 승수 업데이트)만으로 수렴을 보장한다. 수렴 증명은 기존 ADMM 및 증강 라그랑지안 이론을 그대로 확장했으며, 실험적으로 핵심 벡터 머신·강건 SVM 등에서 효율…
저자: Joachim Giesen, S"oren Laue
본 논문은 대규모 데이터와 다수의 제약을 동시에 처리해야 하는 현대 최적화 문제에 대해, 기존 ADMM(Alternating Direction Method of Multipliers)의 한계를 극복하고 일반적인 볼록 비선형 부등식 제약을 직접 다룰 수 있는 새로운 알고리즘을 제안한다.
1. **배경 및 동기**
- 빅데이터 환경에서는 변수 수, 데이터 포인트 수, 제약 수가 모두 급증한다. 특히 제약이 많아지는 경우는 핵심 벡터 머신(CVM)에서의 최소 외접구 문제, 강건 SVM 등에서 나타난다.
- 기존 ADMM은 목적함수가 분리 가능하고, 제약이 선형 등식·부등식일 때만 효율적인 분산 구현이 가능했다. 비선형 부등식 제약을 직접 다루려면 매 반복마다 복잡한 투영 연산이 필요해 실용성이 떨어진다.
2. **문제 정의**
- 일반 형태:
\
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기