직교 열을 가진 과다결정 선형 시스템의 최적 k 희소 해 구하기

초록

본 논문은 행이 더 많은 과다결정 시스템 Ax = y에서, 행렬 A 의 열이 서로 직교한다는 특수 조건 하에 k개의 비제로 원소만을 갖는 최적 해를 정확히 찾는 알고리즘을 제시한다. 기존의 완전 탐색은 지수적 복잡도를 가지며, Lasso와 같은 ℓ₁ 정규화 방법은 근사해만 제공한다. 저자들은 직교성으로부터 파생되는 투영 및 정규화 관계를 이용해, 각 열의 기여도를 빠르게 평가하고 상위 k 개의 열을 선택함으로써 전체 탐색 없이도 전역 최적 해를 얻는 절차를 설계한다. 실험 결과는 제안 방법이 계산량을 크게 줄이면서도 정확도 면에서 기존 근사법을 능가함을 보여준다.

상세 분석

논문은 먼저 과다결정 선형 시스템 Ax = y ( A ∈ ℝ^{m×n}, m > n ) 에서 k‑희소 해 x̂ 를 찾는 문제를 수학적으로 정의한다. 여기서 목표는 ‖y − Ax̂‖₂를 최소화하면서 ‖x̂‖₀ ≤ k 인 벡터 x̂ 를 구하는 것이다. 일반적인 경우는 NP‑hard 문제이며, 완전 탐색은 C(n,k) 개의 조합을 검사해야 하므로 계산량이 급격히 증가한다. 기존의 ℓ₁ 정규화 기반 Lasso는 볼록 최적화로 근사해를 제공하지만, 최적성 보장은 희소성 제한이 강하게 적용될 때만 가능하다.

핵심 기여는 A의 열이 서로 직교한다는 가정이다. 즉, AᵀA = D, 여기서 D는 대각 행렬이며 각 대각 원소는 해당 열의 제곱 노름이다. 이 직교성은 다음 두 가지 중요한 성질을 만든다. 첫째, A의 열 집합에 대한 최소 제곱 해는 단순히 각 열에 대한 투영값 c_i = a_iᵀy / ‖a_i‖₂² 로 표현된다. 둘째, 서로 다른 열 간의 상관관계가 0이므로, 선택된 열 집합의 조합이 전체 잔차에 미치는 영향은 독립적으로 합산된다.

이를 이용해 저자들은 “열 기여도 점수” s_i = |a_iᵀy| / ‖a_i‖₂ 를 정의한다. 이 점수는 해당 열을 선택했을 때 잔차 감소량의 절대값에 비례한다. 따라서 최적 k‑희소 해는 s_i 값이 큰 상위 k 개의 열을 선택하고, 선택된 열에 대해 최소 제곱 해를 구하면 된다. 알고리즘은 다음 단계로 구성된다: (1) 모든 열에 대해 s_i 계산 – O(mn) 연산; (2) s_i 값을 내림차순 정렬 – O(n log n); (3) 상위 k 열 인덱스 선택; (4) 선택된 열들로 구성된 서브행렬 A_S 에 대해 x_S = (A_SᵀA_S)^{-1}A_Sᵀy 계산 – 여기서 A_SᵀA_S 는 대각 행렬이므로 역연산은 단순히 각 대각 원소의 역수로 가능, 즉 O(k) 연산. 전체 복잡도는 O(mn + n log n) 로, 완전 탐색의 O(C(n,k) · mn) 에 비해 현저히 낮다.

정리하면, 직교성은 열 간 상호작용을 완전히 차단하고, 각 열의 독립적인 기여도를 정량화할 수 있게 한다. 따라서 전역 최적 해를 찾기 위해 모든 조합을 검증할 필요가 없으며, 단순히 기여도 순위만으로도 최적성을 보장한다. 논문은 또한 직교성이 약간 깨지는 경우에 대한 민감도 분석을 수행했으며, 작은 잡음 수준에서는 여전히 높은 정확도를 유지한다는 점을 실험적으로 확인하였다.