최대 엔트로피 평균법을 이용한 잡음 측정 필터링

초록

본 논문은 큰 잡음이 섞인 측정값에서 지수분포 파라미터를 추정하기 위해 최대 엔트로피 평균법(MEM)을 적용하고, 베이지안 및 최대우도법과의 성능을 비교한다. MEM이 잡음에 강인한 추정치를 제공함을 실험적으로 입증한다.

상세 분석

본 연구는 측정값이 높은 수준의 가법적 잡음(additive measurement noise)으로 오염된 상황에서 파라미터 추정의 정확성을 높이기 위한 새로운 접근법으로 최대 엔트로피 평균법(MEM)을 제시한다. MEM은 정보이론에서 유도된 엔트로피 최대화 원리를 평균 제약조건과 결합하여, 관측된 데이터와 사전 정보 사이의 최적 분포를 도출한다. 논문은 구체적인 사례로 지수분포의 스케일 파라미터 θ를 추정하는 문제를 선택했으며, 관측값 X_i는 실제 지수분포 샘플 Y_i에 잡음 Z_i가 더해진 형태 X_i = Y_i + Z_i 로 모델링한다. 여기서 Z_i는 평균 0, 분산 σ²인 가우시안 잡음으로 가정한다.

전통적인 최대우도법(ML)은 잡음이 존재하면 편향된 추정치를 제공하고, 베이지안 접근법은 사전 분포 선택에 민감해 실용적 적용에 한계가 있다. MEM은 관측된 X_i에 대한 확률밀도함수 p(x) 를 엔트로피 H(p)=−∫p(x)log p(x)dx 를 최대화하면서, 기대값 제약 E_p