분류 문제에서 곱 규칙의 이론적 고찰

본 논문은 다중 분류기 결합 방법 중 하나인 곱 규칙(product rule)에 대한 이론적 기반을 체계적으로 정리하고, 세 가지 주요 결과(Fact 1~3)를 제시한다. 첫 번째 결과(Fact 1)는 MAP(Maximum A Posteriori) 분류기의 정의에서 출발한다. 클래스 C에 대한 사전 확률이 모든 클래스에 대해 동일하고, 주어진 클래스 조건하에 두 특징 X와 Y가 서로 독립이라는 가정을 하면, MAP 분류기의 목표 함수 p(X=x, Y=y | C=c_k)·P(C=c_k)는 p_X,k(x)·p_Y,k(y) 형태로 분해된다. 따라서 MAP 분류기가 선택하는 클래스는 p_X,k(x)·p_Y,k(y) 값을 최대화하는 클래스와 동일하며, 이는 정의 1에서 제시된 곱 규칙과 완전히 일치한다. 이 증명은 기존 연구에서 직관적으로 제시되던 “조건부 독립성” 가정이 실제로 MAP 최적화와 동치임을 명확히 보여준다. 두 번째 결과(Fact 2)는 가우시안 분포와 등방성 공분산(σ²I)이라는 구체적인 확률 모델을 도입한다. 각 클래스 k에 대해 X와 Y가 평균 μ_X,k, μ_Y,k와 공분산 Σ_X,k=σ²_X,k I, Σ_Y,k=σ²_Y,k I를 갖는 정규분포를 따른다고 가정한다. 이때 p_X,k(x)와 p_Y,k(y)는 각각 exp(−½‖x−μ_X,k‖²/σ²_X,k)·(정규화 상수) 형태가 된다. 곱 규칙은 두 확률을 곱한 뒤 로그를 취하면, (‖x−μ_X,k‖²/σ²_X,k + ‖y−μ_Y,k‖²/σ²_Y,k)이라는 가중 거리 제곱합을 최소화하는 문제와 동일해진다. 즉, 곱 규칙은 “각 특징 공간에서 클래스 중심까지의 거리 제곱을 해당 클래스의 분산으로 정규화한 비용을 최소화”하는 방식과 동등하다. 이는 특징별 스케일 차이를 자연스럽게 보정하면서도 직관적인 거리 기반 결정을 제공한다는 점에서 실용적이다. 세 번째 결과(Fact 3)는 보다 일반적인 공분산 구조를 고려한다. X와 Y가 서로 상관관계가 없다는 가정 하에 전체 특징 벡터 (X,Y)의 공분산 Σ_k를 블록 대각 형태