효율적인 L1 대 Lq 노름 정규화

초록

본 논문은 q > 1인 일반적인 L1/Lq 혼합 노름 정규화 문제를 해결하기 위해 가속화 경사 하강법 기반의 효율적인 알고리즘을 제안한다. 핵심은 L1/Lq 정규화된 유클리드 투영(EP1q)을 두 개의 영점 탐색 문제로 변환하여 빠르게 풀 수 있게 한 점이다. 이론적 분석을 통해 EP1q의 특성을 규명하고, 실험을 통해 제안 알고리즘이 기존 특수 경우(q = 2, ∞)보다 전반적으로 우수함을 입증한다.

상세 분석

L1/Lq 혼합 노름은 변수들을 사전에 정의된 그룹으로 묶어 각 그룹 전체의 ℓq 노름에 ℓ1 가중치를 부여함으로써 그룹 수준의 희소성을 유도한다. 이는 개별 변수 수준의 ℓ1 정규화가 제공하지 못하는 구조적 해석 가능성을 제공하지만, 최적화 관점에서는 두 가지 난관을 만든다. 첫째, 목적함수는 비분리적이며 비부드러워서 전통적인 좌표식 업데이트나 단순 서브그라디언트 방법으로는 수렴 속도가 급격히 저하된다. 둘째, 핵심 연산인 EP1q—즉, ℓ2 거리와 L1/Lq 정규화 항의 합을 최소화하는 투영—는 q가 2나 ∞와 같은 특수값일 때는 폐형식 해를 이용해 효율적으로 계산될 수 있지만, 일반 q에 대해서는 해가 명시적으로 존재하지 않는다.

저자들은 이러한 문제를 해결하기 위해 가속화된 Nesterov 방식의 경사 하강법을 채택한다. 이 방법은 매 반복마다 현재 점과 과거 점의 선형 결합을 사용해 “모멘텀”을 부여함으로써 O(1/k²) 수렴률을 달성한다. 그러나 가속화된 프레임워크 안에서도 매 단계마다 EP1q를 정확히 해결해야 하는데, 이를 위해 저자들은 EP1q를 두 개의 단일 변수 영점 탐색 문제로 변환한다. 구체적으로, 각 그룹에 대해 ℓq 노름의 크기를 조절하는 스칼라 λ를 도입하고, λ에 대한 단조 감소 함수 f(λ)=∑_g max(‖v_g‖_q−λ,0)^q−τ을 정의한다. 여기서 τ는 정규화 파라미터와 연관된 목표값이다. f(λ)=0을 만족하는 λ를 찾는 것이 바로 EP1q의 해를 구하는 핵심이다.

이 영점 탐색은 이분법(bisection)이나 뉴턴 방법 등 단조 함수에 적합한 루트 찾기 기법을 적용해 O(log(1/ε)) 시간 안에 원하는 정확도 ε를 달성한다. 두 번째 영점 탐색은 각 그룹 내부에서 ℓq 노름을 유지하면서 개별 원소를 ℓ2 거리 기준으로 조정하는 과정으로, 역시 단조성 및 폐형식 파생을 이용해 효율적으로 해결한다.

이론적 분석에서는 (1) EP1q의 존재와 유일성, (2) 제안 알고리즘이 전통적인 서브그라디언트 방법 대비 연산 복잡도가 O(n log n) 수준으로 감소함을 증명한다. 또한, 가속화된 경사법과 EP1q 영점 탐색을 결합했을 때 전체 최적화 과정이 전역 최적점에 대해 O(1/k²) 수렴률을 유지함을 보인다.

실험에서는 합성 데이터와 실제 대규모 텍스트/이미지 분류 문제에 대해 q = 1.5, 2, 3, 4 등 다양한 값을 테스트하였다. 결과는 제안 알고리즘이 기존 특수 q 경우에 비해 평균 2~5배 빠른 수렴을 보이며, 동일한 정규화 강도 하에서 모델의 예측 정확도와 그룹 선택 정확도도 크게 향상됨을 보여준다. 특히, q가 2와 ∞ 사이의 중간값일 때 기존 방법이 거의 수렴하지 못하는 반면, 본 방법은 안정적으로 최적해에 도달한다.

요약하면, 이 논문은 L1/Lq 정규화 문제를 일반 q에 대해 실용적으로 풀 수 있는 알고리즘적 프레임워크를 제공함으로써, 그룹 희소 모델링을 필요로 하는 다양한 머신러닝·통계학 분야에 중요한 기여를 한다.