진화 알고리즘으로 찾는 최대 엔트로피 확률분포

본 논문은 “최대 엔트로피 원리”를 기반으로, 주어진 통계적 제약조건 하에서 확률분포를 찾는 전통적인 변분법을 진화 알고리즘(Evolutionary Algorithm, EA)으로 대체하는 방법을 제시한다. 저자는 먼저 최대 엔트로피 원리가 정보이론과 머신러닝에서 어떻게 활용되는지를 서술하고, 제약조건(평균, 분산, 절대편차 평균, 로그 평균·분산, 중앙값 등)에 따라 어떤 분포가 최적해가 되는지를 이론적으로 정리한다. 그 다음, 두 가지 수치적 접근법을 제안한다. 첫 번째는 라그랑지안을 직접 최적화하는 방식으로, 제약을 만족하는 초기 분포를 만든 뒤 변동 연산자를 적용하고, 변동 후에도 제약을 유지하도록 스케일링·압축을 수행한다. 두 번째는 라그랑지안을 사용하지 않고, 엔트로피 자체를 목표함수로 삼아 제약을 만족하는 후보군 중 엔트로피가 가장 큰 분포를 선택하는 방식이다. 두 방법 모두 개체군(population) 기반의 진화 전략을 사용하며, 선택, 교배, 변이 연산을 반복한다. 실험에서는 구간