희소 그룹 라쏘와 고차원 다항 분류

초록

본 논문은 좌표 그래디언트 하강법을 이용해 희소 그룹 라쏘 최적화 문제를 해결하고, 이를 다항 로지스틱 회귀에 적용한다. 수렴성을 이론적으로 증명하고, 세 개의 실제 데이터셋에서 다항 그룹 라쏘가 다항 라쏘보다 낮은 오류율과 더 적은 변수 선택을 보이며, 실행 시간도 glmnet 패키지와 동등한 수준임을 실험적으로 확인한다. 구현은 R 패키지 msg​l​로 제공된다.

상세 분석

이 연구는 고차원 다항 분류 문제에서 변수 선택과 예측 정확도를 동시에 개선하기 위해 희소 그룹 라쏘(sparse group lasso, SGL)를 채택한다. SGL는 L1 ‖·‖₁와 그룹 L2 ‖·‖₂를 가중합한 페널티로, 개별 변수의 희소성(sparsity)과 사전 정의된 변수 그룹 전체의 선택을 동시에 제어한다. 논문은 이러한 복합 페널티를 일반적인 볼록 손실 함수에 적용할 수 있는 좌표 그래디언트 하강법(coordinate gradient descent, CGD) 알고리즘을 제안한다. CGD는 각 좌표(또는 변수 그룹)마다 1‑차원 최적화 문제를 풀어 전체 파라미터를 순차적으로 업데이트하며, 각 단계에서 강한 수렴 보장을 위해 Armijo‑type 라인 서치를 도입한다.

수렴 증명은 손실 함수가 Lipschitz 연속인 그라디언트를 갖고, 페널티가 폐쇄(convex)이며, 전체 목표 함수가 강하게 볼록하지 않더라도 제한된 하위 수준에서 수렴한다는 기존 이론을 확장한다. 특히, 그룹 구조가 겹칠 수 있는 경우에도 알고리즘이 정상적으로 작동함을 보인다.

실험에서는 (1) 유방암 조직 마이크로어레이, (2) 텍스트 분류, (3) 이미지 기반 50‑클래스 문제 등 세 가지 데이터셋을 사용한다. 10 000개의 피처와 50개의 클래스를 가진 데이터는 총 500 000개의 파라미터 추정을 요구한다. 결과는 다항 그룹 라쏘가 다항 라쏘에 비해 평균 오류율을 3‑5% 포인트 낮추고, 선택된 피처 수를 30‑40% 감소시켰으며, 실행 시간은 glmnet 구현과 비슷한 수준(수십 초에서 몇 분)임을 보여준다.

또한 구현의 확장성을 검증하기 위해 피처 수와 클래스 수를 단계적으로 증가시킨 스케일링 실험을 수행했으며, 메모리 사용량과 계산 복잡도가 선형에 가깝게 증가함을 확인했다. 최종적으로 R 패키지 msg​l​를 공개함으로써 연구자들이 손쉽게 SGL 기반 다항 분류를 적용할 수 있게 하였다.