대안 방향법을 활용한 댄치 선택자 효율적 탐색

초록

본 논문은 댄치 선택자(Dantzig selector) 문제를 해결하기 위해 교대 방향법(Alternating Direction Method, ADM)을 적용하고, 각 서브문제는 비단조 그래디언트 방법으로 근사적으로 푼다. 제안된 알고리즘을 기존 1차원 방법과 비교 실험한 결과, CPU 시간에서 우수하면서도 해의 품질은 동등함을 확인하였다.

상세 분석

댄치 선택자는 고차원 회귀 분석에서 변수 선택과 추정 정확도를 동시에 달성하기 위해 제안된 L1 정규화 기반 방법으로, 최적화 문제는 제약식 형태인 ‖Xᵀ(y−Xβ)‖∞ ≤ λ 로 표현된다. 이 문제는 전통적인 선형 계획법(LP)으로 풀 수 있으나, 차원이 커질수록 계산 비용이 급증한다는 한계가 있다. 논문은 이러한 문제점을 극복하기 위해 교대 방향법(ADM, 혹은 ADMM)이라는 분할 정복 전략을 도입한다. ADM은 원래 문제를 두 개의 변수 β와 z(=Xᵀ(y−Xβ)) 로 분리하고, 각각에 대해 별도의 최소화 서브문제를 정의한다. 이때 라그랑주 승수와 페널티 파라미터를 도입해 교대로 업데이트함으로써 전체 최적화 과정을 점진적으로 수렴시킨다.

핵심 기여는 서브문제 중 β에 대한 최소화 단계에서 비단조 그래디언트 방법을 적용한 점이다. 기존 연구