일반화된 엔트로피 집중 현상과 카운트 벡터

논문은 먼저 엔트로피 집중 현상의 전통적 배경을 소개한다. Jaynes가 제시한 “분포가 엔트로피 최대점에 집중한다”는 개념은 확률벡터(합이 1인 경우)에 한정되어 있었으며, 이는 ‘볼‑빈’ 모델을 통해 조합론적으로 증명되었다. 저자는 이 개념을 비정규화된 카운트 벡터에 확대한다. 1. **일반화된 엔트로피 정의** - G(x)=−∑ x_i ln x_i + (∑ x_i) ln (∑ x_i) 로 정의한다. - x가 확률벡터이면 G(x)=H(x)와 동일하고, 일반 경우에는 전체 합 S가 추가적인 “스케일” 역할을 한다. - G는 연속적이며, x>0 영역에서 볼록하지만 엄격히 볼록하지는 않다(그림 2.1 참고). 2. **최대화 문제와 해의 존재성** - 제약 집합 C는 선형 등식·부등식 A_E x=b_E, A_I x≤b_I 와 x>0 로 정의된다. - C가 비어 있지 않고, ∑ x_i 가 유한 구간