일반화된 컬럼 서브셋 선택을 위한 초고속 탐욕 알고리즘

본 논문은 “일반화된 컬럼 서브셋 선택(Generalized Column Subset Selection, G‑CSS)”이라는 새로운 문제 정의를 제시한다. 기존의 컬럼 서브셋 선택(CSS)은 데이터 행렬 A의 일부 열을 골라 원본 행렬 자체를 가장 잘 근사하도록 하는 것이었다. 저자들은 이를 확장해, 소스 행렬 A와는 별개의 타깃 행렬 B가 주어졌을 때, A의 열 중 l개를 선택해 B의 스팬을 최소 Frobenius 노름 오차 ‖B − P(S)B‖_F² 로 근사하는 문제로 정의한다. 여기서 P(S) 는 선택된 열 집합 S에 대한 투사 행렬이며, S는 |S|=l을 만족한다. 문제 정의 이후, 저자들은 이 조합 최적화 문제의 정확 해를 O(max(nl · ml, nl · mr)) 시간에 구할 수 있음을 보이지만, 이는 실용적이지 않다. 따라서 매 iteration마다 하나의 열을 추가하는 탐욕적 접근을 설계한다. 핵심 아이디어는 투사 행렬 P(S)를 기존 선택 P와 남은 열 집합 R에 대한 잔차 행렬 E = A − P(P)A 로 분해하는 Lemma 1이다. 이 분해를 이용하면 새로운 열을 추가할 때 전체 투사 행렬을 다시 계산하지 않고, E_R (E_RᵀE_R)⁻¹E_Rᵀ 형태의 보정 항만 계산하면 된다. Theorem 2는 위 분해를 목표 함수에 적용해, 새로운 열을 추가했을 때 잔차 ‖B − P(S)B‖_F² 가 기존 잔차 ‖B − P(P)B‖_F² 에서 R(R) · F (여기서 F = B − P(P)B) 의 제곱 노름만큼 감소한다는 식을 도출한다. 즉, 매 iteration마다 선택 기준은 “잔차를 가장 많이 감소시키는 열”이 된다. 하지만 직접적인 계산은 여전히 O(mn) 비용이 든다. 이를 해결하기 위해 Theorem 3에서 스칼라 값 ω_t와 υ_t 를 도입한다. ω_t는 AᵀA와 이전 선택들의 가중치 누적합을 이용해 정의되고, υ_t는 AᵀB와 동일한 방식으로 정의된다. 이 두 값만 유지하면, 각 열 i에 대한 선택 기준 f_i/g_i (f_i = ‖H_i‖², g_i = G_ii) 를 O(1) 시간에 업데이트할 수 있다. 여기서 H = FᵀE, G = EᵀE 이다. 따라서 전체 알고리즘의 복잡도는 O(max(mnl, mnr)) 로, 특히 A가 희소 행렬일 경우 매우 빠르게 동작한다. Algorithm 1은 위 이론을 구현한 전체 흐름을 제시한다. 초기 단계에서 f(0)_i = ‖BᵀA_i‖², g(0)_i = A_iᵀA_i 를 계산한다. 매 iteration t에서는 f_i/g_i 비율이 가장 큰 열 p를 선택하고, δ_t, γ_t, ω_t, υ_t 를 업데이트한다. 이후 Theorem 3에 따라 f와 g 를 갱신한다. 이 과정을 l번 반복하면 최종 선택된 열 집합 S가 반환된다. 논문은 이 일반화된 프레임워크가 다양한 기존 문제와 어떻게 연결되는지를 상세히 논의한다. (1) 기본 CSS: B = A인 경우, 제안 알고리즘은 기존 탐욕 기반 CSS와 동일한 선택 기준을 제공하지만 계산 효율성이 개선된다. (2) 분산 CSS: B를 랜덤 프로젝션 Ω 로 정의해 A의 스팬을 압축 표현하고, MapReduce 환경에서 열 선택을 수행한다. (3) SVD‑기반 CSS: B = U_kΣ_k 로 설정해 주요 특이벡터를 근사하도록 한다. (4) 희소 코딩 및 사전 선택: B가 단일 벡터(또는 다중 타깃 벡터)인 경우, 알고리즘은 Orthogonal Matching Pursuit(OMP)와 동일한 선택 메커니즘을 제공한다. (5) 동시 희소 근사: 여러 타깃 벡터를 동시에 근사하는 경우에도 동일한 프레임워크가 적용된다. 저자들은 이전 연구(