최소 중앙값 제곱 회귀 문제의 구조와 해법 탐구

초록

본 논문은 최소 중앙값 제곱 잔차(LMS) 회귀에서 발생하는 최적화 문제를, 절대 잔차의 중앙값을 최소화하는 동등한 문제로 변환한다. 새로운 표현식을 통해 목적 함수의 특성을 분석하고, 지역 최소점의 정확한 개수를 (\displaystyle {p+\lfloor (n-1)/2 \rfloor \choose p}) 로 도출한다. 이를 바탕으로 세 가지 알고리즘을 제시한다.

상세 분석

논문은 먼저 전통적인 최소 중앙값 제곱(LMS) 회귀가 “잔차 제곱값들의 중앙값을 최소화”하는 비선형 최적화임을 상기한다. 이 문제는 비볼록이며 전역 최적점 찾기가 NP‑hard에 가깝다. 저자들은 제곱잔차 대신 절대잔차를 사용해 “잔차 절대값들의 중앙값을 최소화”하는 문제로 동등 변환함으로써 수학적 취급을 용이하게 만든다. 절대값 함수는 1‑노름과 직접 연결되므로, 변환 후 목적 함수는 (\displaystyle f(\beta)=\operatorname{med}{|y_i-x_i^\top\beta|}_{i=1}^n) 형태가 된다.

핵심 기여는 이 함수의 구조적 특성을 파악하기 위한 새로운 표현식이다. 저자들은 관측치 인덱스 집합을 (\mathcal{I}_k={i_1,\dots,i_k}) 로 두고, 각 (\mathcal{I}_k) 에 대해 (\beta) 가 만족해야 하는 선형 부등식 시스템을 구성한다. 특히, 중앙값이 (m)이라면 절반 이하의 잔차가 (m) 이하이고 나머지는 (m) 이상이어야 하므로, 이를 “(k)개의 잔차가 (m) 이하, 나머지는 (m) 이상”이라는 조합적 조건으로 전환한다.

이 조합적 조건을 기하학적으로 해석하면, (\beta) 가 위치할 수 있는 영역은 (\mathbb{R}^p) 내의 다면체(polyhedron)들의 교집합으로 표현된다. 각 다면체는 특정 관측치 집합이 중앙값을 결정하게 하는 선형 제약을 의미한다. 따라서 목적 함수는 다면체들의 경계에서만 비연속적인 기울기 변화를 보이며, 지역 최소점은 이러한 경계 교차점에서 발생한다.

저자들은 이러한 교차점의 개수를 정확히 셈한다. 중앙값을 결정하는 관측치 수는 (\lfloor (n+1)/2 \rfloor) 혹은 (\lceil (n+1)/2 \rceil) 로, 실제로는 (\lfloor (n-1)/2 \rfloor) 개의 자유도만 남는다. 따라서 (p) 차원 공간에서 가능한 독립적인 제약 조합은 ({p+\lfloor (n-1)/2 \rfloor \choose p}) 개이며, 이것이 바로 지역 최소점의 정확한 개수이다. 이 결과는 기존에 알려진 상한값을 넘어서는 정밀한 카운팅이며, 문제의 복잡도가 관측치 수와 차원에 따라 어떻게 급격히 증가하는지를 명확히 보여준다.

마지막으로, 이러한 구조적 이해를 바탕으로 세 가지 알고리즘을 제시한다. 첫 번째는 “조합적 탐색”으로, 가능한 (\mathcal{I}_k) 집합을 순차적으로 검사해 최소값을 찾는다. 두 번째는 “다면체 교차점 추적”으로, 선형 프로그램을 이용해 다면체 교차점을 효율적으로 계산한다. 세 번째는 “무작위 시작점 + 지역 탐색”으로, 초기값을 무작위로 선택한 뒤 위에서 정의한 다면체 경계에서 뉴턴‑유사 업데이트를 수행한다. 각 알고리즘은 지역 최소점의 개수와 구조적 특성을 활용해 계산량을 이론적으로 제한한다.

전반적으로 논문은 LMS 회귀 문제를 기하학·조합론적 관점에서 재해석함으로써, 지역 최소점의 정확한 수와 효율적인 탐색 방법을 제공한다. 이는 강건 회귀 분야에서 기존 방법들의 한계를 보완하고, 고차원·대규모 데이터에 적용 가능한 이론적 토대를 마련한다.