대규모 데이터용 양자회귀의 근사 알고리즘과 저왜곡 서브스페이스 임베딩

본 논문은 “Quantile Regression for Large‑scale Applications”이라는 제목으로, 테라바이트 규모의 데이터에 대해 양자회귀를 효율적으로 풀기 위한 새로운 무작위 알고리즘을 제시한다. 양자회귀는 조건부 분포의 τ‑분위수를 추정하는 방법으로, 평균을 추정하는 최소제곱 회귀보다 비정규 데이터에 더 적합하고, ℓ₁ 회귀(중위수 회귀)의 일반화 형태이다. 전통적으로 양자회귀는 선형계획(LP)으로 변환되어 단순 내·외부점법으로 해결되지만, n≫d인 경우 메모리·시간 복잡도가 O(nd) 수준으로 급증한다. 저자들은 이 문제를 두 가지 핵심 아이디어로 해결한다. 첫 번째는 ℓ₁ 손실에 대한 저왜곡 서브스페이스 보존 임베딩을 구성하는 것이다. 이를 위해 A∈ℝ^{n×d}의 ℓ₁‑잘조건화된 베이스 U를 찾고, 각 행 i에 대해 중요도 p_i = min{1, s·‖U(i)‖₁/‖U‖₁} 로 정의된 확률에 따라 샘플링한다. 여기서 s는 d에만 의존하는 샘플링 복잡도이며, 실제 구현에서는 Sparse Cauchy Transform와 빠른 타원체 라운딩을 결합해 O(nnz(A)) 시간에 근사 U를 얻는다(정리 2, 정리 4). 이렇게 얻은 샘플링 행렬 S∈ℝ^{s×n}은 (1±ε)‑왜곡을 보장한다(Lemma 9). 두 번째 단계는 S를 이용해 원 문제를 차원 축소한다. 양자회귀의 목적함수는 ρ_τ(b−Ax)이며, S를 적용하면 ρ_τ(S(b−Ax))가 원래 함수와 (1±ε) 비율로 근접한다. 따라서 원 문제는 “오버‑제약” 형태인 min_{x∈C} ρ_τ(SAx) 로 변환되며, 여기서 C={x | cᵀx=1}은 단일 선형 제약이다. 축소된 문제의 크기는 s=poly(d)·log(1/ε)/ε² 로, d가 수십에서 수백 정도이면 매우 작은 규모가 된다. 이 작은 LP는 기존 내·외부점법이나 단순 심플렉스 알고리즘으로 빠르게 해결할 수 있다. 이론적 기여는 다음과 같다. - 정의 1·2를 통해 ℓ₁‑노름과 ρ_τ 손실에 대한 (1±ε)‑왜곡 서브스페이스 보존 행렬을 명확히 정의하고, Lemma 2·3을 이용해 입력 희소성 시간에 이를 구축하는 방법을 제시한다. - Lemma 9는 S가 위 조건을 만족하면 모든 x에 대해 ρ_τ(Ax)와 ρ_τ(SAx) 사이에 (1±ε) 관계가 성립함을 증명한다. 이는 양자회귀 손실이 비선형이지만, ℓ₁‑노름과 유사한 삼각 부등식(Lemma 1)을 활용한 결과이다. - Theorem 1은 전체 알고리즘이 확률 0.5 이상으로 (1+ε) 근사해를 반환하고, 시간 복잡도가 O(nnz(A)·log n + poly(d)·log(1/ε)/ε²)임을 보인다. 여기서 첫 항은 입력 행렬의 비제로 원소 수에만 의존하고, 두 번째 항은 차원 d와 정확도 ε에만 의존한다. 실험에서는 두 종류의 데이터셋(합성·실제)에서 알고리즘을 평가한다. 합성 데이터는 n=2.5×10⁹, d=50인 경우를 포함해, MapReduce 클러스터(수십 대 노드)에서 실행했을 때 기존 내·외부점법 대비 10~15배 가속화되었다. 정확도 측면에서는 목표 함수값 오차가 0.1% 이하, 해벡터 L₂ 오차도 10⁻⁴ 수준으로, 2자리 소수점 이하 정확도를 유지한다. 또한, 기존 ℓ₁‑조건화 기반 방법(