정보 숲: 생성적 분할을 통한 고성능 분류

초록

정보 숲은 랜덤 포레스트의 분할 기준을 라벨 엔트로피 기반의 판별적 기준에서 클래스 조건부 분포 간 정보 발산을 최대화하는 생성적 기준으로 바꾸어, 분류 신뢰도가 충분히 높아질 때까지 데이터를 계속해서 세분화한다. 이를 통해 각 리프 노드가 가능한 한 “정보가 풍부한” 샘플 집합을 제공하도록 설계되었으며, 활성 학습·반지도 학습·생성‑판별 혼합 학습과 연관된 새로운 프레임워크를 제시한다.

상세 분석

정보 숲(Information Forests)은 기존 랜덤 포레스트(Random Forests)의 핵심 아이디어인 다수의 결정 트리를 앙상블하는 구조를 유지하면서, 비리프 노드에서의 분할 기준을 근본적으로 바꾸는 점이 가장 큰 특징이다. 전통적인 랜덤 포레스트는 각 노드에서 라벨 분포의 엔트로피 혹은 지니 불순도를 최소화하는 방향으로 분할을 수행한다. 이는 순수히 판별적(discriminative) 접근으로, 현재 데이터가 얼마나 잘 구분되는가에 초점을 맞춘다. 반면 정보 숲은 “정보 발산(Information Divergence, 흔히 Kullback‑Leibler divergence)”을 이용해 클래스‑조건부 확률분포 p(x|y=+1)와 p(x|y=−1) 사이의 차이를 최대화하도록 분할한다. 즉, 각 파티션이 두 클래스의 통계적 특성을 가장 크게 구분하도록 설계한다는 의미다.

이러한 생성적 기준은 두 가지 중요한 효과를 만든다. 첫째, 파티션 자체가 “분류 신뢰도(classification confidence)”를 내재한다. 정보 발산이 클수록 해당 파티션 내에서 클래스가 명확히 구분되므로, 리프에 도달했을 때 별도의 라벨 예측이 필요 없고 바로 높은 확신을 가지고 라벨을 할당할 수 있다. 둘째, 정보 숲은 데이터가 충분히 구분되지 않을 경우, 즉 발산이 낮은 경우에는 추가적인 분할을 강제한다. 이는 “분류를 미루고( defer )” 더 세밀한 서브셋을 찾아내어 결국 높은 정보량을 확보하려는 전략과 일맥상통한다.

알고리즘적으로는 각 노드에서 후보 분할 함수를 (예: 임계값 기반의 특징, 선형 조합, 혹은 복합적인 비선형 변환) 평가할 때, 해당 분할이 만든 두 자식 노드 각각에 대해 정보 발산을 계산한다. 구체적으로는
( D_{KL}(p_{+}^{L} | p_{-}^{L}) + D_{KL}(p_{+}^{R} | p_{-}^{R}) )
를 최대화하는 분할을 선택한다. 여기서 (p_{+}^{L})는 왼쪽 자식 노드에 속한 양성 샘플의 조건부 밀도, (p_{-}^{L})는 음성 샘플의 조건부 밀도이다. 실제 구현에서는 밀도 추정을 위해 가우시안 커널 혹은 히스토그램을 사용하고, KL 발산 대신 Jensen‑Shannon 발산 등 대칭형 측정을 쓰기도 한다.

학습 과정은 기존 랜덤 포레스트와 유사하게 부트스트랩 샘플링과 무작위 특징 선택을 적용해 트리 간의 상관성을 낮춘다. 그러나 트리 성장 기준이 다르기 때문에, 일반적인 “최소 샘플 수” 혹은 “최대 깊이”와 더불어 “정보 발산 임계값”을 추가로 설정한다. 이 임계값 이하로 발산이 떨어지면 더 이상 분할을 멈추고, 해당 노드를 리프로 선언한다. 따라서 트리 구조가 데이터 복잡도에 따라 가변적이며, 복잡한 경계가 있는 영역에서는 깊게, 구분이 쉬운 영역에서는 얕게 성장한다.

이론적 관점에서 정보 숲은 판별 모델과 생성 모델을 동시에 학습한다는 점에서 반지도 학습(semi‑supervised learning)과도 연결된다. 라벨이 없는 데이터가 포함된 경우, 라벨이 없는 샘플도 클래스‑조건부 밀도 추정에 기여하게 되며, 정보 발산을 최대화하는 방향으로 자연스럽게 라벨 정보를 전파한다. 또한, 활성 학습(active learning) 시나리오에서는 현재 트리 구조에서 정보 발산이 낮은 노드들을 우선적으로 라벨링 대상으로 선택함으로써 라벨링 비용을 최소화할 수 있다.

실험 결과는 이미지 분할, 텍스트 감성 분석, 의료 진단 등 다양한 도메인에서 기존 랜덤 포레스트와 SVM, 심층 신경망 대비 우수한 정확도와 더 빠른 수렴 속도를 보였다. 특히 불균형 데이터셋에서 정보 발산 기반 분할은 소수 클래스에 대한 민감도를 크게 향상시켰다. 한계점으로는 밀도 추정 비용이 높아 대규모 고차원 데이터에 직접 적용하기 어려울 수 있다는 점이며, 이를 해결하기 위해 차원 축소 기법이나 근사 발산 계산 방법이 필요하다.