가우시안 프로세스 보간을 위한 안정적인 Nugget 하한 및 반복 정규화 기법

본 연구는 결정론적 컴퓨터 시뮬레이터의 출력이 정확히 재현된다는 가정 하에, 가우시안 프로세스(GP) 기반 메타모델이 관측 데이터를 정확히 통과해야 하는 필요성을 제시한다. 그러나 설계점이 서로 가깝거나 하이퍼파라미터 θ 가 작을 경우, 상관 행렬 R 은 조건수가 급격히 증가하여 행렬식 및 역행렬 계산이 수치적으로 불안정해진다. 이러한 근접 특이성(ill‑conditioning) 문제는 GP 모델의 로그우도 최적화 과정에서 심각한 장애를 초래한다. 전통적인 해결책은 Nugget(δ) 라는 작은 정규화 항을 추가해 Rδ = R + δI 로 변형하는 것이다. δ 를 추정하면서 최대우도(MLE) 혹은 베이지안 방법을 적용하지만, δ 가 충분히 크지 않으면 행렬이 여전히 불안정하고, 반대로 과도하게 크면 모델이 불필요하게 스무딩되어 원래의 인터폴레이션 특성을 상실한다. 실제 사례에서는 δ 가 경계값에 수렴하면서도 예측 오차가 허용 범위를 초과하는 경우가 빈번히 보고된다. 이에 저자는 두 가지 주요 기여를 제시한다. 첫째, Nugget 하한 δ_lb 를 수학적으로 도출한다. δ_lb 는 R 의 최소 고유값 λ_min 과 기계 정밀도 ε (예: double precision 의 2⁻⁵²) 사이의 관계 λ_min + δ ≥ ε 로부터 얻어지며, 이를 통해 Rδ 가 수치적으로 양정정(positive‑definite) 상태가 보장된다. δ_lb 는 설계점 배치와 상관 함수 파라미터에 따라 자동으로 계산되므로, 사용자는 임의의 큰 δ 를 지정할 필요가 없으며, 과도한 스무딩을 최소화한다. 둘째, 반복 정규화(Iterative Regularization) 알고리즘을 도입한다. 초기 단계에서 δ = δ_lb 로 설정하고 Rδ⁽⁰⁾ 를 만든 뒤, 기존 BLUP(최소분산 선형 불편 추정량) 공식을 이용해 예측값 ŷ⁽⁰⁾ 를 계산한다. 이후 잔차 e⁽⁰⁾ = Y – ŷ⁽⁰⁾ 를 새로운 관측값으로 사용해 다시 GP 모델을 적합하고, 새로운 상관 행렬 Rδ⁽¹⁾ 를 구성한다. 이 과정을 k 번 반복하면 ŷ⁽ᵏ⁾ 가 원래 Nugget‑free GP 보간 해 ŷ* 로 수렴한다는 수학적 증명을 제공한다. 수렴 속도는 δ 의 크기에 반비례하므로, δ_lb 를 사용하면 최소한의 반복 횟수(보통 3~5회)로 충분히 정확한 결과를 얻는다. 알고리즘의 복잡도는 매 반복마다 O(n³) 의 행렬 연산이 필요하지만, Cholesky 분해와 같은 효율적인 선형 대수 기법을 활용하면 실제 실행 시간은 크게 감소한다. 또한, δ_lb 가 R 의 스펙트럼 정보를 활용하므로, 설계점이 고르게 퍼져 있는 경우 거의 Nugget 없이도 안정적인 계산이 가능하다. 실험에서는 세 가지 사례를 통해 제안 방법의 효용성을 검증한다. 첫 번째는 고차원 인공 테스트 함수(예: Branin, Hartmann)에서의 보간 정확도 비교이며, 두 번째는 캐나다 베이 오브 펀디의 조석 시뮬레이션 데이터(100개의 설계점)이다. 이 경우 기존 Nugget 추정 방식은 평균 제곱 오차가 1.2e‑3 수준으로, 최대 전력 위치 추정에 큰 편향을 보였지만, 제안 방법은 오차를 4.5e‑4 로 감소시켰고, 최적 터빈 배치의 전력 추정치를 30% 이상 정확히 복원했다. 세 번째 사례는 다변량 베이지안 최적화 문제에서, 제안 알고리즘이 적은 반복 횟수로 목표 함수의 전역 최적점을 찾아내며, 전통적인 Nugget‑augmented GP 대비 수렴 속도가 2배 이상 빨랐다. 논문은 또한 Nugget 하한 선택에 대한 실용적인 가이드라인을 제공한다. 조건수 κ(R) 가 10⁸ 이상이면 δ_lb 를 적용하고, κ(R) 가 10⁴ 이하이면 Nugget 없이도 충분히 안정적이라고 판단한다. 또한, 반복 정규화 과정에서 수렴 기준을 MSE 변화율 <10⁻⁶ 로 설정하면 대부분의 실무 적용에서 충분히 정확한 결과를 얻을 수 있다. 결론적으로, 이 연구는 GP 보간 모델에서 Nugget 를 완전히 배제할 수 없는 현실을 인정하면서도, 최소한의 Nugget 로 과도한 스무딩을 방지하고, 반복 정규화 기법을 통해 원래 GP 보간 해와 동일한 예측 정확도를 회복하는 실용적인 프레임워크를 제시한다. 이는 고성능 시뮬레이션 기반 설계, 최적화, 불확실성 정량화 등 다양한 분야에서 널리 활용될 수 있는 중요한 기여이다.