숲 가로테 랜덤 포레스트를 위한 가로테 스타일 변수 선택

본 논문은 “Forest Garrote”라는 새로운 방법론을 제안한다. 이 방법은 기존의 랜덤 포레스트(Random Forest)와 같은 트리 기반 앙상블 모델에 가로테(Garrote) 스타일의 convex penalty를 부여함으로써, 변수 선택과 모델 단순화를 동시에 달성한다는 점에서 혁신적이다. 논문의 흐름을 크게 네 부분으로 나눌 수 있다. 1. **배경 및 동기** 고차원 선형 모델에서 변수 선택은 l1‑regularization(라쏘)과 같은 방법으로 활발히 연구돼 왔다. 라쏘는 불필요한 변수를 0으로 만들면서 모델을 간결하게 만들고, 해석 가능성을 높인다. 그러나 라쏘 기반 선형 모델은 비선형 관계를 포착하는 데 한계가 있다. 반면, 랜덤 포레스트와 같은 트리 앙상블은 복잡한 비선형 패턴과 변수 간 상호작용을 효과적으로 학습하지만, 변수 중요도를 정량화하거나 모델을 압축하는 체계적인 메커니즘이 부족하다. 특히, 트리 구조 자체가 복잡하고, 수천 개의 노드가 존재할 경우 시각화와 해석이 거의 불가능에 가깝다. 이러한 문제점을 해결하고자 저자는 트리 앙상블에 가로테식 페널티를 도입한다. 2. **방법론** - **기본 아이디어**: 이미 학습된 랜덤 포레스트를 그대로 사용한다. 각 트리는 리프 노드까지 완전하게 성장했으며, 각 리프는 특정 입력 영역에 대한 평균 응답값을 제공한다. 이 리프들을 “함수” 혹은 “기능 단위”로 간주하고, 각 기능에 비음수 가중치 β를 부여한다. - **목표 함수**: \