효율적인 구조화 희소 모델 학습

본 논문은 구조화된 희소 코딩(structured sparse coding) 문제를 효율적으로 해결하기 위한 새로운 프레임워크를 제시한다. 기존의 희소 코딩은 L1 정규화와 같은 단순한 제약을 사용하거나, 그룹 라쏘, 트리 구조와 같은 복합적인 정규화를 적용할 경우, 최적화 알고리즘이 복잡해지고 연산 비용이 급증한다는 한계가 있었다. 특히 실시간 응용이나 대규모 데이터셋에서는 이러한 반복적 최적화가 실용적이지 못했다. 이를 극복하고자 저자들은 두 가지 핵심 아이디어를 결합한다. 첫째, 블록 좌표 근접 분할(Block‑Coordinate Proximal Splitting, 이하 BCPS)이라는 새로운 반복 알고리즘을 설계한다. 둘째, BCPS의 한 반복을 신경망 레이어 하나로 매핑하여, 학습 가능한 피드포워드 인코더를 만든다. 1. **블록 좌표 근접 분할(BCPS) 알고리즘** - 문제 정의: 입력 신호 x∈ℝⁿ에 대해 사전 D∈ℝⁿˣᵐ과 구조화된 정규화 R(z) (예: 트리 기반 그룹 L1) 를 사용해 z를 최소화한다. - 기존 방법: ADMM, FISTA 등은 전체 변수에 대해 전역 proximal 연산을 수행하거나, 서브문제들을 번갈아가며 풀어야 하므로 메모리 접근이 비효율적이다. - BCPS 설계: 변수 벡터 z를 여러 블록 {z₁,…,z_B} 로 분할하고, 각 블록에 대해 독립적인 proximal 연산을 순차적으로 적용한다. 각 블록은 구조화된 정규화 트리에서 하나의 노드 혹은 서브트리를 담당하도록 정의된다. 업데이트 식은 \