손상된 대규모 데이터에서 강인하고 확장 가능한 열과 행 샘플링

본 연구는 대규모 데이터 행렬이 저차원 저랭크 구조(L)와 희소 오류 행렬(S)의 합으로 이루어진다는 전형적인 가정 하에, 기존 저랭크 기반 열·행 샘플링 방법이 S에 의해 파괴되는 문제를 해결하고자 한다. 논문은 먼저 기존 방법들의 한계를 짚으며, 특히 무작위 샘플링이 데이터 클러스터링이 불균형하거나 행/열 구조가 복합적인 경우 충분한 스팬을 제공하지 못한다는 점을 실험적·이론적으로 보여준다. 핵심 기여는 네 가지이다. 첫째, “열 선택을 위한 비볼록 최적화”를 제시한다. 목표는 D−DA의 ℓ₁ 노름을 최소화하면서 A의 비영 행(선택된 열)의 개수를 r 로 제한하는 것이며, 이를 ℓ₁,₂ 정규화와 가중 파라미터 γ를 도입해 볼록화한다. 최적해 A*의 행 ‖·‖₂ 값이 큰 인덱스가 대표 열이 된다. 둘째, 행 샘플링을 활용해 문제 차원을 크게 줄인다. 레마 3에 따라 L의 행 공간은 O(r)개의 무작위 행으로 충분히 포착될 수 있으므로, D의 일부 행을 추출해 D_r을 만든 뒤 D_r에 대해 위의 완화된 최적화를 수행한다. 이렇게 하면 원래 N₂×N₂ 규모의 변수 A를 N₂×m 형태로 축소해 계산 복잡도를 O(r³+Nr²) 수준으로 낮춘다. 셋째, 제안된 알고리즘 1은 초기 무작위 열 집합을 선택하고, 매 반복마다 (8)식의 최적화로 A*를 구한 뒤, A*의 영 행을 제거하고, 잔차 행렬 F = D_r−D_s_r A* 의 각 열에서 절대값이 큰 τ% 원소를 삭제한다. 이 과정을 통해 현재 선택된 열 집합이 설명하지 못하는 열을 탐지하고, 해당 열을 새롭게 샘플링 집합에 추가한다. 반복이 진행될수록 선택된 열 집합은 L의 열 공간을 점점 더 정확히 스팬하게 된다. 넷째, 열과 행 모두에 클러스터링 구조가 존재해 단순 무작위 행/열 샘플링으로는 충분히 스팬되지 못하는 경우를 위해 알고리즘 2(Iterative CS‑RS Pursuit)를 제안한다. 여기서는 현재 선택된 열 집합으로부터 행 공간을 재추정하고, 재추정된 행 공간을 기반으로 다시 열을 샘플링하는 과정을 교차적으로 수행한다. 이 과정은 CS와 RS를 동시에 수렴시키며, 전체적인 복잡도는 여전히 O(r³+Nr²) 수준을 유지한다. 이론적 분석에서는 레마 1·2를 통해 무작위 열 샘플링이 필요로 하는 최소 샘플 수가 데이터의 열 분포(특히 코히어런스 파라미터 μ_v)에 크게 의존함을 보인다. 반면 레마 3은 행 샘플링이 열 분포와 무관하게 O(r)개의 행만으로 충분히 RS를 포착할 수 있음을 증명한다. 따라서 제안 방법은 “행을 무작위로 뽑아 차원을 줄이고, 남은 열에 대해 강인한 최적화를 수행한다”는 전략으로 기존 방법의 근본적인 한계를 극복한다. 실험에서는 합성 데이터와 실제 영상·바이오인포매틱스 데이터 두 종류를 사용했다. 합성 실험에서는 ρ=0.02 수준의 희소 오류와 10% 이상의 이상치를 포함시켰으며, 제안 방법은 10% 이하의 샘플링 비율로도 목표 랭크를 90% 이상 정확히 복원했다. 기존 랜덤 샘플링이나 기존 저랭크 기반 방법은 동일 조건에서 30~40% 이상의 샘플링을 필요로 했다. 실제 데이터 실험에서는 얼굴 이미지 데이터와 유전자 발현 데이터에 적용했으며, 컬럼 스케치의 랭크가 목표 랭크에 도달하는 속도가 무작위 샘플링 대비 3~5배 빠르고, 최종 저랭크 복원 정확도도 5~8% 향상되었다. 또한, 알고리즘 2를 적용한 경우, 열·행 모두에 클러스터링 구조가 존재하는 데이터에서도 CS와 RS를 정확히 추정해 전체 복원 품질이 크게 개선되었다. 결론적으로, 이 논문은 (1) 희소 오류와 이상치에 강인한 열·행 샘플링 프레임워크, (2) 행 샘플링을 통한 차원 축소와 반복적 정제 메커니즘, (3) CS‑RS 교차 추정을 통한 비균일 데이터 구조에 대한 확장성을 제공한다. 이 세 가지 요소가 결합돼 대규모 손상 데이터에서도 효율적이고 정확한 저랭크 스케치를 가능하게 하며, 향후 빅데이터 분석, 로버스트 PCA, 클러스터링 등 다양한 응용 분야에 적용될 잠재력을 가진다.