범주형 변수에도 빠른 S‑추정 비특이 서브샘플링

초록

본 논문은 범주형 예측변수가 포함된 회귀 데이터에서 S‑추정량을 위한 초기값을 생성할 때 발생하는 특이(싱글러) 서브샘플 문제를 해결한다. 수정된 LU 분해를 이용해 샘플링과 최소제곱 해를 동시에 수행함으로써, 특이하지 않은 서브샘플만을 효율적으로 생성한다. 연속형 변수만 있는 경우와 동일한 속도를 유지하면서, 범주형 변수의 낮은 빈도 수준에서도 기존 무작위 서브샘플링보다 훨씬 빠르게 작동한다.

상세 분석

S‑추정량은 회귀계수를 강건하게 추정하기 위해 잔차의 규모를 최소화하는 M‑추정과, 잔차의 스케일을 동시에 추정하는 스케일 추정 단계가 결합된 방법이다. 이 과정에서 초기값을 제공하기 위해 일반적으로 “무작위 서브샘플링(random subsampling)”이 사용된다. 연속형 예측변수만 있을 때는 임의로 p(예측변수 수)개의 관측치를 선택하면 설계 행렬이 거의 항상 전치역행렬을 갖고, 따라서 OLS 해를 바로 구할 수 있다. 그러나 범주형 변수가 포함되면, 특히 어떤 수준(level)의 빈도가 매우 낮을 경우, 선택된 서브샘플이 설계 행렬의 열이 선형 종속이 되는 특이 행렬이 될 확률이 크게 증가한다. 특이 서브샘플은 역행렬을 구할 수 없으므로 즉시 폐기해야 하며, 이는 전체 알고리즘의 실행 시간을 급격히 늘린다.

논문은 이러한 문제를 근본적으로 해결하기 위해 “비특이 서브샘플링(nonsingular subsampling)”이라는 새로운 절차를 제안한다. 핵심 아이디어는 샘플을 선택하면서 동시에 행렬의 LU 분해를 진행하는 것이다. 전통적인 LU 분해는 행렬을 L(하삼각)과 U(상삼각)로 분해하면서 피�터 교환(pivoting)을 수행한다. 피�터 교환은 현재까지 선택된 행이 선형 독립인지 판단하는 기준이 된다. 따라서 샘플링 단계에서 각 관측치를 하나씩 추가하고, 추가된 행이 현재까지의 LU 구조를 유지할 수 있는지(즉, 피벗이 0이 아닌지) 검사한다. 만약 추가된 행이 선형 종속을 초래하면 해당 관측치는 버리고, 다른 관측치를 시도한다. 이렇게 하면 처음부터 특이하지 않은 p개의 관측치만을 확보하게 되며, 별도의 특이성 검사나 재시도가 필요 없어진다.

알고리즘은 다음과 같이 흐른다. (1) 전체 데이터에서 무작위 순서로 관측치를 순회한다. (2) 현재까지 선택된 행에 대해 부분 LU 분해를 유지하면서 새로운 행을 삽입한다. (3) 삽입 과정에서 피벗이 0이 되면 해당 행을 건너뛰고, 다음 행을 시도한다. (4) p개의 행이 성공적으로 삽입되면, 완전한 LU 분해가 확보되고, 이를 이용해 역행렬 없이 바로 OLS 해를 구한다. (5) 구해진 초기계수를 바탕으로 전통적인 S‑추정 반복을 진행한다.

이 절차는 연산 복잡도 측면에서도 효율적이다. 일반적인 무작위 서브샘플링은 특이 서브샘플을 버릴 때마다 전체 O(p³) 비용의 역행렬 연산을 다시 수행해야 하지만, 비특이 서브샘플링은 한 번의 LU 분해 과정에서 모든 검증과 해 계산을 동시에 수행한다. 따라서 최악의 경우에도 O(p³) 연산을 한 번만 수행한다. 또한, 피벗 교환을 통해 행 선택 순서를 동적으로 조정하므로, 빈도가 낮은 수준(level)의 관측치가 자동으로 뒤로 밀려 특이성을 최소화한다. 실험 결과는 연속형 변수만 포함한 경우와 동일한 실행 시간을 보이며, 범주형 변수가 다수이고 일부 수준이 희소한 경우에는 기존 방법 대비 5배 이상 빠른 성능을 나타낸다.

이러한 장점은 S‑추정량을 실제 데이터 분석에 적용할 때, 예측변수의 유형에 따라 알고리즘을 교체해야 하는 불편함을 없애준다. 즉, 연구자는 데이터 전처리 단계에서 연속형·범주형 변수를 별도로 고려하지 않고, 동일한 강건 회귀 프레임워크를 그대로 사용할 수 있다.