압축 선형 회귀를 통한 희소화와 특징 선택

초록

본 논문은 최소 설명 길이(MDL) 원리를 선형 회귀에 적용해 파라미터와 잔차를 코딩하는 새로운 방식을 제안한다. 부드러운 길이 근사식을 도입해 설명 길이를 미분 가능하게 만들고, 이를 그래디언트 하강법으로 최적화한다. 실험 결과, UCI·StatLib 데이터셋에서 LASSO보다 빠르게 희소 모델을 얻으며, 교차 검증 없이도 일반화 성능이 경쟁력 있음을 보인다.

상세 분석

이 연구는 모델 선택 문제를 정보 이론적 관점, 즉 최소 설명 길이(MDL) 원칙으로 재구성한다. 전통적인 LASSO나 단계별 전진 선택은 정규화 파라미터를 교차 검증으로 튜닝해야 하는 반면, 저자는 파라미터와 잔차를 각각 별도의 이진 코딩 체계로 변환하고, 그 코딩 길이를 직접 최소화한다는 점에서 차별화된다. 파라미터 코드는 정수형 비트 길이와 부동소수점 근사 오차를 합산한 형태로 정의되며, 잔차 코드는 가우시안 분포 가정 하에 엔트로피 기반 길이 함수를 사용한다. 두 코딩 길이는 본래 이산적이지만, 최적화를 위해 연속적인 근사식(예: 로그-시그모이드 형태)을 도입해 미분 가능하게 만든다. 이렇게 얻은 연속형 손실 함수는 파라미터 벡터에 대한 그래디언트를 제공하므로, 표준 확률적 그래디언트 하강법이나 L‑BFGS와 같은 최적화 알고리즘을 바로 적용할 수 있다.

알고리즘 흐름은 크게 세 단계로 나뉜다. 첫째, 원본 특성 집합에 비선형 변환(다항식, 트리 기반 등)을 적용해 풍부한 후보 피처를 만든다. 둘째, 모든 피처에 대해 초기 파라미터를 무작위 혹은 최소 제곱 해로 설정하고, 앞서 정의한 MDL 손실을 최소화한다. 셋째, 최적화 과정에서 파라미터가 0에 가까워지면 해당 피처를 자동으로 제외시켜 희소 모델을 형성한다. 중요한 점은 정규화 강도를 제어하는 하이퍼파라미터가 전혀 필요 없다는 것이다. 코딩 길이 자체가 모델 복잡도와 데이터 적합도를 균형 있게 조절한다.

실험에서는 10개 이상의 공개 데이터셋을 대상으로 실행 시간, 선택된 피처 수, 테스트 오차를 LASSO와 비교했다. 결과는 대부분의 경우 압축 선형 회귀가 LASSO보다 2~5배 빠르게 수렴하고, 선택된 피처 수가 비슷하거나 더 적으며, 테스트 RMSE는 통계적으로 유의미하게 차이가 없거나 약간 우수함을 보여준다. 특히 피처 수가 매우 많은 고차원 데이터(예: 10,000 차원)에서는 메모리 사용량이 크게 감소하고, 교차 검증 단계가 생략돼 전체 파이프라인이 단순화된다.

한계점으로는 코딩 모델이 가우시안 잔차 가정을 전제로 하므로, 강한 이상치나 비정규분포 잔차를 가진 경우 성능 저하가 예상된다. 또한 부드러운 근사식의 선택이 최적화 수렴 속도에 영향을 미치므로, 실제 적용 시 적절한 근사 함수를 실험적으로 결정해야 한다. 향후 연구에서는 로버스트 코딩 스킴(예: 라플라스 기반)이나 비선형 회귀 모델(예: 커널 회귀)로 확장하는 방안을 제시한다.