랜덤 프로젝션을 이용한 비음수 최소제곱 문제의 고속 근사 해법

** 본 논문은 비음수 최소제곱(Nonnegative Least Squares, NNLS) 문제를 빠르게 근사하는 새로운 알고리즘을 제시한다. NNLS는 “Ax≈b” 형태의 선형 회귀에 비음수 제약 x≥0를 추가한 문제로, 이미지, 텍스트, 유전자 발현 등 비음수 데이터에 널리 사용된다. 기존 알고리즘은 활성‑집합, Newton‑기반 반복법, 내부점법 등으로 구현되지만, 데이터 규모가 커질수록 O(nd²) 혹은 그보다 큰 연산량이 요구돼 실시간 처리에 한계가 있다. 저자들은 이러한 문제를 해결하기 위해 Fast Johnson‑Lindenstrauss Transform(FJLT)의 한 구현인 랜덤화된 Hadamard‑Walsh 변환(H)와 부호 행렬 D(대각 원소가 ±1)를 이용한다. 구체적인 절차는 다음과 같다. 1. **전처리**: n×n 대각 행렬 D를 생성하고, A와 b에 각각 곱해 부호를 무작위로 뒤바꾼다. 이는 입력을 균등하게 섞어 레버리지 점수를 평탄화한다. 2. **스케치 행렬 구성**: 정규화된 Hadamard‑Walsh 행렬 H_n을 사용해, 각 행을 확률 r/n으로 선택한다. 선택된 행은 1/√(r/n) 로 스케일링해 ˜H를 만든다. 이렇게 하면 ˜H는 기대값이 r개의 행을 갖는 스케치 행렬이 된다. 3. **축소된 NNLS**: ˜H·D·A (크기 r×d)와 ˜H·D·b (크기 r)로 새로운 작은 NNLS 문제를 만든다. 기존 고성능 NNLS 솔버(예: Lawson‑Hanson, Kim‑Park 등)를 그대로 적용해 최적해 ˜x_opt를 얻는다. 핵심 이론적 결과는 두 개의 보조 정리이다. - **Lemma 1 (Subspace Sampling 보존)**: n≫d인 행렬 Φ와 임의 벡터 y에 대해, 행을 r개만 무작위로 선택하고 적절히 스케일링한 ˜Φ가 ‖Φy‖₂를 (1±ε) 범위 내에서 보존한다. 여기서 샘플링 확률 p_i는 각 행의 레버리지 점수(왼쪽 특이벡터의 ℓ₂² norm)와 비례한다. 조건 r·log r ≥ 9c₀²dβ/ε² (β는 레버리지 점수 하한) 를 만족하면 확률 2/3 이상으로 보존이 보장된다. - **Lemma 2 (Hadamard‑Walsh 균등화)**: H_n·D·U (U는 Φ의 왼쪽 특이벡터) 의 각 행은 ℓ₂² norm이 ≤4·d·log n / n 로 제한된다. 이는 레버리지 점수가 거의 균등함을 의미해, 실제 알고리즘에서는 모든 행에 동일 확률 r/n을 사용해도 Lemma 1의 가정이 충족된다. 이 두 정리를 결합해 Theorem 1을 증명한다. Theorem 1은 입력 행렬 A∈ℝ^{n×d} (n≫d)와 목표 벡터 b에 대해, 알고리즘 파라미터 r이  r·log r ≥ 342c₀²(d+1)·log n·ε⁻² 를 만족하면, 반환된 ˜x_opt가 원 NNLS 최적해 x_opt와 비교해  ‖A˜x_opt−b‖₂² ≤ (1+ε)·‖Ax_opt−b‖₂² 를 확률 ≥ 2/3로 보장한다. 시간 복잡도는  O(nd·log r) + T_NNLS(r,d) 이며, T_NNLS(r,d) 은 차원 r×d 문제를 정확히 푸는 데 드는 시간이다. 기존 정확 알고리즘이 O(nd·d) 혹은 O(nd²) 를 요구하는 것과 비교하면, r을 d+O(1) 수준으로 잡을 경우 실질적인 속도 향상이 크게 나타난다. **실험** - 데이터: 3,000개의 텍스트‑문서 집합(수천 개 문서, 수백 차원 단어). - 설정: r = d+20, r = 2d 등 다양한 r값을 시험. - 결과: r = d+20 일 때 평균 3배 가속, 평균 상대 오차 약 10 %; r = 2d 일 때 2배 가속, 오차 4 % 수준. 입력 행렬이 조밀할수록(예: TF‑IDF 가중치가 높은 경우) 속도 향상이 더욱 두드러졌다. **의의 및 향후 연구** 1. **제약 최적화에 스케치 적용**: 기존 FJLT 기반 스케치는 무제약 ℓ₂ 회귀에만 적용됐으나, 본 논문은 비음수 제약을 포함한 문제에도 확장 가능함을 보였다. 2. **레버리지 점수 균등화 기법**: D·H_n 변환이 레버리지 점수를 거의 균등하게 만든다는 점은 다른 고차원 선형 문제(예: ℓ₁ 회귀, 커널 근사)에서도 샘플링 효율을 크게 높일 수 있다. 3. **실용성**: 알고리즘은 단순히 “Hadamard 변환 → 행 샘플링 → 기존 NNLS 솔버” 순서만 구현하면 되므로, 기존 시스템에 손쉽게 통합 가능하다. 향후 연구에서는 (a) 성공 확률을 1−δ 로 높이기 위한 반복 실행 전략, (b) 비음수 제약 외에 L₁, L₀ 등 다른 제약을 포함한 확장, (c) GPU/분산 환경에서의 Hadamard‑Walsh 변환 가속화 등을 탐색할 수 있다. **