효율적인 베이지안 실험 설계: 기대 정보 이득 하한 활용

본 논문은 베이지안 실험 설계(BED) 분야에서 기대 정보 이득(EIG)을 설계 기준으로 삼는 전통적인 접근법이 계산 비용과 추정 편향 때문에 실용성에 한계가 있음을 지적한다. 이를 극복하기 위해 저자들은 EIG의 하한을 새로운 설계 기준으로 도입하고, 그 하한이 무편향이며 샘플 수에 비례해 분산이 감소하는 특성을 갖는다는 점을 이론적으로 증명한다. 1. **문제 정의와 기존 방법** 베이지안 프레임워크에서 파라미터 θ의 사전분포 p(θ)를 관측 y와 설계 변수 d에 의해 업데이트한다. 정보 이득은 KL‑다이버전스로 정의되며, 이를 관측값에 대해 평균을 취한 것이 기대 정보 이득 U(d)이다. U(d)는 두 중첩 적분(θ와 y에 대한 적분)으로 구성돼 직접 계산이 어려우며, Monte Carlo 추정 시 내부 루프 샘플 수가 충분히 크지 않으면 편향이 크게 발생한다. 2. **하한의 도출** 저자는 우선 likelihood를 가우시안으로 가정하고, 엔트로피 표현을 이용해 U(d)를 두 항으로 분리한다. 첫 번째 항은 설계와 무관한 상수, 두 번째 항은 관측값 분포 p(y|d)의 엔트로피이다. Jensen 부등식을 적용해 엔트로피를 아래쪽으로 제한하면, U_L(d)=−½{m+log