정확 복구 조건 하에서 OMP와 OLS의 k단계 분석

초록

본 논문은 Tropp이 제시한 정확 복구 조건(ERC)을 OMP에 적용한 분석을 확장하여 OLS에도 동일한 ERC 기반 정확 복구 보장을 제공한다. ERC가 만족될 경우 OLS는 최대 k 번의 반복 안에 원래 지원 집합을 완전히 복원한다. ERC가 깨지는 경우 OMP와 OLS의 복구 특성을 비교하고, 특정 사전에서는 OMP가 일부 지원을 절대 복구하지 못함을 증명한다. 반면 OLS는 이러한 현상이 없으며, 실험을 통해 상관성이 높은 사전에서는 OLS가 OMP보다 적은 반복으로 정확 복구가 가능함을 확인한다.

상세 분석

Tropp의 Exact Recovery Condition(ERC)은 사전(matrix) Φ 와 희소 신호 x 의 지원 집합 S 에 대해 ‖Φ_{S}^{†} Φ_{S^{c}}‖{1,∞}<1 이라는 형태로 정의된다. 이 조건이 만족되면 Orthogonal Matching Pursuit(OMP)는 매 단계마다 현재 잔차와 가장 높은 상관을 보이는 원자(atom)를 선택함으로써, 최악의 경우 k 번의 반복 후 정확히 S 를 복원한다. 본 논문은 이 ERC 기반 증명을 OLS(Orthogonal Least Squares)에도 그대로 적용할 수 있음을 보인다. OLS는 매 단계마다 현재 잔차와의 정규화된 내적이 가장 큰 원자를 선택하는 것이 아니라, 선택 후 전체 최소제곱 해를 재계산하는 방식으로, 선택 기준이 OMP와 다소 차별화된다. 저자들은 OLS가 선택 단계에서 Φ{S}^{†} Φ_{S^{c}}의 ℓ₁‑∞ 노름을 동일하게 제한받는다는 점을 이용해, ERC가 충족될 경우 OLS 역시 k 번 이내에 정확 복구함을 수학적으로 증명한다.

ERC가 위배되는 상황에서는 두 알고리즘의 행동이 크게 달라진다. OMP는 현재 잔차와 가장 높은 상관을 갖는 원자를 선택하므로, 사전의 상관성이 높고 지원 원자 간 내적이 큰 경우 잘못된 원자를 선택할 위험이 커진다. 특히 저자들은 특정 사전 구조(예: 두 원자가 거의 동일한 방향을 가질 때)에서 OMP가 어떤 지원 집합도 절대 복구하지 못하는 “불가능 집합”을 구성할 수 있음을 보였다. 이는 Basis Pursuit(BP)에서도 관찰되는 현상으로, BP는 신호의 부호 패턴에 따라 복구 성공 여부가 달라진다. 반면 OLS는 선택 단계에서 전체 최소제곱 해를 재계산하므로, 잘못된 원자를 선택하더라도 이후 단계에서 그 영향을 상쇄할 여지가 있다. 결과적으로 OLS는 ERC가 위배되더라도 OMP보다 더 넓은 지원 집합을 복구할 가능성이 있다.

실험 부분에서는 무작위 사전, 상관성이 높은 사전, 그리고 실제 이미지 압축에 사용되는 DCT 기반 사전을 대상으로 OMP와 OLS, 그리고 BP를 비교하였다. 실험 결과는 다음과 같다. (1) 무작위 사전에서는 세 알고리즘 모두 평균적으로 비슷한 복구 확률을 보였으며, 반복 횟수도 크게 차이 나지 않았다. (2) 상관성이 높은 사전에서는 OLS가 OMP보다 적은 반복(k < k_OMP)으로 정확 복구에 성공하는 경우가 현저히 많았다. 이는 OLS가 선택 단계에서 전체 잔차 최소화를 고려하기 때문에, 상관 원자들 사이의 혼동을 줄일 수 있음을 시사한다. (3) BP는 부호 패턴에 민감하게 반응했으며, 특정 부호 조합에서는 OMP와 OLS보다 우수했지만, 전반적인 평균 성능은 OLS와 비슷하거나 약간 낮았다.

이러한 결과는 ERC가 실제 알고리즘 설계와 적용에 있어 충분히 실용적인 가이드라인이 될 수 있음을 보여준다. 특히 OLS는 ERC가 충족되지 않을 때도 비교적 안정적인 복구를 제공하므로, 사전이 고도로 상관된 상황(예: 채널 간 간섭이 큰 무선 통신, 혹은 이미지/비디오 압축에서 중복된 패턴이 많은 경우)에서는 OLS를 우선 고려하는 것이 바람직하다. 또한, ERC가 만족되지 않을 경우 OMP가 절대 복구하지 못하는 지원 집합이 존재한다는 이론적 증명은, OMP 기반 시스템 설계 시 사전 설계 단계에서 ERC 검증을 필수적으로 수행해야 함을 강조한다.