조건부 독립 랜덤 함수 평가의 측도 이론: 히스토리컬 히트와 가우시안 정당화

초록

본 논문은 베이지안 최적화·지오스태티스틱스에서 새로운 관측점 (X_{n+1}) 을 무작위로 선택할 때, “(X_0,\dots,X_{n+1})을 고정 파라미터로 취급한다”는 관행이 일반적으로는 틀릴 수 있음을 반례로 보이고, 연속 가우시안 랜덤 함수에 한해 이 히스토리컬 히트가 수학적으로 타당함을 증명한다. 또한 잡음이 있는 평가와 조건부 독립 샘플링 상황까지 일반화한다.

상세 분석

이 논문은 순차 설계 전략에서 흔히 사용되는 “플러그‑인(plug‑in) 방식”을 엄밀히 검증한다. 먼저, 임의의 연속 랜덤 함수 (f)와 필터레이션 (\mathcal F_n=\sigma\bigl(f(X_0),\dots,f(X_n)\bigr)) 에 대해, (X_{n+1}) 이 (\mathcal F_n)‑측정가능(예: 사전예측가능)이라면 (\mathbb P\bigl(f(X_{n+1})\in A\mid\mathcal F_n\bigr))를 계산할 때 (X_{n+1})을 고정값처럼 대입해도 되는지를 질문한다. 이를 위해 저자는 “joint kernel”이라는 개념을 도입하고, 각 결정점 (x)에 대한 정규조건부분포 (\kappa_x)가 ((\omega,x))에 대해 측정가능하고, (x)에 대해 약한 위상에서 연속이면 (\kappa_{X}(\omega;A)=\mathbb P\bigl(f(X)\in A\mid\mathcal F\bigr)(\omega))가 성립함을 보인다. 이 성질을 “plug‑in consistent”(PIC)라 명명하고, 존재와 유일성을 정리한다(정리 2.4, 명제 2.5).

핵심은 연속성이 없을 경우 PIC가 깨질 수 있다는 반례(예 2.13)이다. 여기서는 (\kappa_x)가 (x)에 대해 불연속적인 경우, 동일한 (\mathcal F)‑조건 하에 서로 다른 (X)에 대해 서로 다른 null set이 발생해 식 (3)이 성립하지 않음을 보여준다. 따라서 일반적인 랜덤 함수에 대해 히스토리컬 히트를 무조건 적용하는 것은 위험하다.

하지만 연속 가우시안 랜덤 함수라면 상황이 달라진다. 가우시안 과정은 모든 유한 차원 마진이 다변량 정규분포이며, 조건부분포가 명시적으로 계산 가능하고, 커널 (\kappa_x)가 (x)에 대해 연속(실제로는 선형 연산에 의해 연속)한다. 따라서 가우시안 경우에는 PIC가 자동으로 만족한다(정리 2.10(ii), 부록 A). 이는 베이지안 최적화에서 흔히 가우시안 프로세스(kriging)를 이용하는 이유를 엄밀히 뒷받침한다.

또한 논문은 잡음이 포함된 평가 (Y_n = f(X_n)+\varepsilon_n)와, (X_{n+1})가 (\mathcal F_n)‑조건부 독립(예: Thompson 샘플링)인 경우까지 확장한다. 정의 2.7, 2.8에서 조건부 독립 진화를 공식화하고, 정리 2.10을 통해 이러한 상황에서도 PIC가 유지되는 충분조건을 제시한다. 특히, 잡음 함수 (\varepsilon_n)가 연속이면 전체 함수 (f_n = f+\varepsilon_n)도 연속이므로 앞서 증명된 결과를 그대로 적용할 수 있다.

결과적으로, 이 논문은 (1) 무작위 평가점에 대한 일반적인 플러그‑인 접근이 반례에 의해 무효임을 명확히 하고, (2) 연속 가우시안 과정 및 연속성 조건을 만족하는 경우에만 플러그‑인 방식이 정당함을 증명한다. 이는 베이지안 최적화·Kriging 실무자에게 이론적 근거를 제공함과 동시에, 비가우시안 혹은 불연속적인 커널을 사용할 때는 보다 조심스러운 접근이 필요함을 경고한다.