웨이브릿 희소성 패턴을 위한 볼록 최적화 접근법

초록

본 논문은 전통적인 은닉 마르코프 트리(HMT) 모델이 선형 관측 행렬에 의해 복합적으로 섞일 때 발생하는 비볼록 문제를, 그룹 스파시티 페널티를 이용한 볼록 최적화 형태로 변환한다. 제안된 방법은 Lasso와 같은 계수별 ℓ₁ 정규화와 동일한 계산 복잡도를 유지하면서, 디컨볼루션 및 압축 센싱에서 현저히 높은 복원 품질을 달성한다.

상세 분석

웨이브릿 변환은 이미지·신호의 다중 해상도 표현에 탁월하지만, 변환 계수들 사이에 존재하는 통계적 의존성을 효과적으로 활용하려면 은닉 마르코프 트리(HMT)와 같은 그래픽 모델이 필요하다. 전통적인 HMT는 부모‑자식 관계를 통해 큰 계수가 작은 계수를 “활성화”시키는 구조적 스파시티를 모델링한다. 그러나 역문제—예를 들어 블러링 행렬이 포함된 디컨볼루션, 투시 변환이 포함된 토모그래피, 혹은 측정 행렬이 무작위인 압축 센싱—에서는 관측값이 원본 웨이브릿 계수들의 선형 결합으로 나타난다. 이때 HMT가 가정하는 트리 구조는 관측 행렬에 의해 뒤섞여, 원래의 마르코프 의존성을 직접적으로 추정하기 어려워진다. 기존 연구는 이 문제를 해결하기 위해 기대-최대화(EM) 기반의 근사 추정, 혹은 그리디 매칭 추정과 같은 비볼록 최적화 기법을 사용했으며, 이는 수렴 보장이 약하고 계산 비용이 크게 증가하는 단점이 있었다.

본 논문은 이러한 비볼록성을 회피하기 위해, 트리 구조를 직접 모델링하기보다는 “그룹” 형태로 스파시티를 강제한다. 구체적으로, 각 트리 노드와 그 자식 노드들을 하나의 그룹으로 정의하고, 그룹 ℓ₂-노름을 ℓ₁-노름과 결합한 복합 정규화 ‖x‖₁,₂ = Σ_g λ_g‖x_g‖₂ 를 도입한다. 이 정규화는 동일 그룹 내의 계수들이 동시에 0이 되거나, 비제로 값을 가질 확률을 높여, 트리 기반 의존성을 근사적으로 재현한다. 중요한 점은 이 정규화가 볼록이라는 점이다. 따라서 최적화 문제는
 min_x ½‖Ax – y‖₂² + Σ_g λ_g‖x_g‖₂
와 같이 표준 형태의 제곱 손실 + 그룹 스파시티 페널티로 변환된다. 여기서 A는 관측 행렬(블러링, 랜덤 측정 등), y는 관측 데이터이다.

볼록성 덕분에 문제는 프로젝션 기반의 가속화된 프로시저(예: FISTA, ADMM)로 정확히 풀 수 있다. 논문은 특히 proximal operator for the ℓ₂‑ℓ₁ 혼합 페널티를 효율적으로 구현하는 알고리즘을 제시한다. 이 연산은 각 그룹에 대해 단순한 “소프트-스레시홀드” 형태로 수행되며, 복잡도는 전체 계수 수와 거의 동일하다. 또한, 그룹 크기와 가중치 λ_g를 데이터‑드리븐 방식으로 선택하는 방법—예를 들어, 트리 깊이에 따라 λ를 감소시키는 스케줄—을 제안해, 실제 이미지에 대한 적응성을 높였다.

실험에서는 표준 Lasso(계수별 ℓ₁)와 기존 HMT‑EM 기반 방법을 비교했다. 디컨볼루션 실험에서는 복원 PSNR이 평균 2.3 dB 향상되었으며, 압축 센싱에서는 재구성 오류가 15 % 이상 감소했다. 특히, 측정 비율이 낮을수록 그룹 스파시티가 큰 이점을 보였는데, 이는 트리 구조가 자연 이미지의 다중 스케일 연관성을 효과적으로 포착하기 때문이다. 계산 시간 측면에서는 FISTA 기반 구현이 Lasso와 거의 동일한 순서(수십 밀리초 수준)로 수렴했으며, EM 기반 HMT는 수배에서 수십 배 더 오래 걸렸다.

이러한 결과는 볼록 최적화와 그룹 스파시티가 전통적인 마르코프 트리 모델의 장점을 유지하면서도, 선형 관측 행렬에 의해 발생하는 복잡한 의존성을 효율적으로 다룰 수 있음을 입증한다. 또한, 제안된 프레임워크는 다른 변환(예: 딥러닝 기반 사전)이나 다른 종류의 그래프 구조(예: 라티스, 클러스터)에도 자연스럽게 확장 가능하다는 점에서 향후 연구 방향을 제시한다.