예측 불확실성을 품은 다항 혼돈 전개 잭나이프 기반 구간 추정

초록

본 논문은 회귀 기반 다항 혼돈 전개(PCE) 모델에 잭나이프와 잭나이프+ 방식의 컨포멀 예측을 결합해, 전체 학습 데이터를 재사용하면서도 폐쇄형 식으로 LOO 잔차와 예측값을 계산한다. 이를 통해 모델의 예측에 신뢰 구간을 부여하고, 작은 데이터셋에서도 목표 커버리지를 달성함을 실험적으로 검증한다.

상세 분석

이 연구는 두 가지 핵심 아이디어를 결합한다. 첫째, 다항 혼돈 전개(PCE)를 회귀 모델로 활용해 입력‑출력 관계를 선형 형태의 설계 행렬 D에 대한 최소제곱 문제로 정의한다. 이때 PCE의 차수와 다변량 차원에 따라 기저 함수 Ψ_k(x)가 결정되며, OLS 해를 통해 계수 c를 구한다. 선형성 덕분에 해석적 해인 (DᵀD)⁻¹Dᵀ를 이용해 ‘hat matrix’ H = D(DᵀD)⁻¹Dᵀ를 바로 얻을 수 있다.

둘째, 컨포멀 예측(CP)의 한 형태인 잭나이프와 잭나이프+를 적용한다. 전통적인 잭나이프 CP는 각 샘플을 제외하고 모델을 재학습해 LOO 잔차 R_LOO를 구하고, 그 경험적 분포의 (1‑s) 분위수를 이용해 대칭 구간을 만든다. 잭나이프+는 LOO 예측값 μ̂^{‑m}(x*)와 R_LOO를 결합해 비대칭 구간을 제공하며, (1‑2s) 수준의 형식적 커버리지를 보장한다.

PCE가 선형 회귀이므로 LOO 잔차와 LOO 예측값을 재학습 없이 닫힌 형태로 계산할 수 있다. 구체적으로

• LOO 잔차 r_LOO,m = (y_m – μ̂(x_m)) / (1 – h_mm)
• LOO 예측 μ̂^{‑m}(x*) = μ̂(x*) – (d_* (DᵀD)⁻¹ d_mᵀ)·r_LOO,m / (1 – h_mm)
  여기서 h_mm은 H의 대각 원소, d_*와 d_m은 테스트와 학습 입력에 대한 기저 함수 벡터이다. 이러한 식을 이용하면 M번의 모델 재학습 없이도 잭나이프와 잭나이프+에 필요한 모든 통계량을 얻는다.

실험에서는 네 개의 베엔치마크 함수와 두 개의 전기공학 설계 사례(히트싱크 설계, Stern‑Gerlach 전자석 설계)를 대상으로 방법을 검증한다. 결과는 다음과 같다.

1. 목표 커버리지(예: 90 %)를 거의 정확히 달성했으며, 특히 데이터가 충분히 많을 때 구간 폭이 현저히 감소했다.
2. 데이터가 적은 경우에도 평균 커버리지는 목표에 근접했지만, 구간 폭과 변동성이 커졌다. 이는 PCE 자체의 근사 정확도가 낮아 비잔여 오차가 커지기 때문이다.
3. 잭나이프와 잭나이프+가 제공하는 구간은 거의 동일했으며, 계산 비용 차이는 거의 없었다. 이는 선형 PCE의 특성 덕분에 LOO 계산이 매우 효율적이었기 때문이다.

이 논문의 주요 기여는 (i) PCE와 잭나이프 기반 CP를 최초로 결합해 데이터 효율적인 불확실성 추정기를 만든 점, (ii) 선형 회귀 구조를 활용해 LOO 계산을 닫힌 형태로 구현함으로써 기존 교차‑CP 방법이 안고 있던 재학습 비용을 제거한 점, (iii) 작은 데이터 환경에서도 신뢰 구간을 제공함으로써 실용적인 엔지니어링 설계 단계에 바로 적용 가능하게 만든 점이다. 또한, 정규화된 비순응 점수(예: 잔차의 표준화)와 같은 확장 가능성을 논의하여 향후 이질적(heteroscedastic) 데이터에 대한 적응형 구간 설계 가능성을 제시한다.