그룹 희소 신호 잡음 제거 비볼록 정규화와 볼록 최적화

1. 서론에서는 희소 신호 복원 문제를 두 가지 전통적 접근법—볼록 정규화와 비볼록 정규화—으로 나누어 설명한다. 볼록 정규화는 전역 최적해와 안정적인 알고리즘을 제공하지만 희소성 촉진 효과가 제한적이며, 비볼록 정규화는 더 강한 희소성을 유도하지만 지역 최소점, 초기값 의존성, 불연속성 등 실용적 어려움이 있다. 저자는 이 두 접근법의 장점을 결합하고자, 비볼록 페널티를 사용하되 전체 비용 함수를 볼록하게 만드는 “균형” 아이디어를 도입한다. 이는 Blake와 Zimmermann, Nikolova의 연구를 확장한 형태이다. 2. 관련 연구에서는 겹치지 않는 그룹과 겹치는 그룹 두 경우를 구분한다. 겹치지 않는 경우는 변수 분리가 쉬워 단순한 임계값 함수 적용이 가능하지만, 겹치는 경우는 변수 간 결합이 발생해 보조 변수 도입(ADMM 등)이나 메모리·연산 부담이 커진다. 기존 저자들의 OGS(Overlapping Group Shrinkage) 알고리즘은 보조 변수를 사용하지 않고 O(N) 복잡도로 수렴성을 보였으며, 본 논문은 이를 비볼록 정규화와 결합한다. 3. 수학적 전제에서는 페널티 함수 φ가 연속, 짝대칭, 양의 실축에서 단조 증가, 두 번째 미분이 음(볼록)이며, φ'(0⁺)=1, φ''(0⁺)≤0 등 일련의 조건을 만족하도록 정의한다. 로그, arctan, 1차 비율형 세 가지 예시가 제시되며, a 파라미터가 0에 가까워질수록 ℓ₁에 수렴한다. 4. 비용 함수 F(x)=½‖y−x‖₂²+λ∑ₖ φ(‖x_{i,K}‖₂²;a) 에 대해, 단일 그룹 경우의 함수 H와 스칼라 함수 G를 정의하고, φ''(0⁺)>−1/λ이면 G가 볼록하고 따라서 H도 볼록함을 증명한다. 이 조건은 전체 비용이 엄격히 볼록함을 보장하며, 최적해가 유일함을 의미한다. 5. 최적화 알고리즘은 MM 원리를 적용한다. 각 반복에서 현재 추정값을 고정하고, φ의 접선(upper bound)을 이용해 1차원 서브문제 θ(y;a) = argminₓ ½(y−x)²+λφ(x;a) 를 푼다. θ는 임계값 함수이며, φ''(0⁺)와 λ에 따라 임계값 λ가 결정된다. 겹치는 그룹 구조 때문에 각 샘플 i에 대해 동일한 θ가 적용되며, 이는 번역 불변성을 제공한다. 알고리즘은 매 반복마다 모든 N 샘플에 대해 O(1) 연산을 수행하므로 전체 복잡도는 O(N)이다. 6. 실험에서는 음성 신호의 스펙트로그램을 2‑D 신호로 모델링하고, K=5~7 정도의 그룹 크기를 선택한다. λ는 실험적으로 최적값을 찾으며, a는 φ''(0⁺) 조건을 만족하도록 설정한다. 비교 대상은 기존 OGS(ℓ₁)와 전통적인 소프트‑쓰레시홀드, 그리고 비볼록 GNC 방식이다. 결과는 SNR 향상, PESQ 점수, 그리고 주관적 청취 테스트에서 제안 방법이 모두 우수함을 보여준다. 특히, 큰 진폭 성분이 과소 추정되는 현상이 크게 감소한다. 7. 논의에서는 비볼록 정규화가 반드시 비볼록 최적화를 의미하지 않으며, 파라미터 선택에 따라 볼록 프레임워크 내에서 강력한 희소성을 달성할 수 있음을 강조한다. 또한, 제안된 방법은 메모리 요구량이 적고, 파라미터 튜닝이 간단해 실시간 응용에도 적합하다. 향후 연구로는 다른 형태의 그룹 구조(예: 비정형 클러스터)와 다중 차원 데이터에 대한 확장, 그리고 학습 기반 파라미터 자동 조정이 제시된다.