“디지털 트윈·시뮬레이션에서 ‘서브모델 불확실성’ 정량화와 기여도 분석”

📝 Abstract

Stochastic simulation is widely used to study complex systems composed of various interconnected subprocesses, such as input processes, routing and control logic, optimization routines, and data-driven decision modules. In practice, these subprocesses may be inherently unknown or too computationally intensive to directly embed in the simulation model. Replacing these elements with estimated or learned approximations introduces a form of epistemic uncertainty that we refer to as submodel uncertainty. This paper investigates how submodel uncertainty affects the estimation of system performance metrics. We develop a framework for quantifying submodel uncertainty in stochastic simulation models and extend the framework to digital-twin settings, where simulation experiments are repeatedly conducted with the model initialized from observed system states. Building on approaches from input uncertainty analysis, we leverage bootstrapping and Bayesian model averaging to construct quantile-based confidence or credible intervals for key performance indicators. We propose a tree-based method that decomposes total output variability and attributes uncertainty to individual submodels in the form of importance scores. The proposed framework is model-agnostic and accommodates both parametric and nonparametric submodels under frequentist and Bayesian modeling paradigms. A synthetic numerical experiment and a more realistic digital-twin simulation of a contact center illustrate the importance of understanding how and how much individual submodels contribute to overall uncertainty.

💡 Analysis

**

1. 연구 배경 및 문제 정의

• 서브모델: 실제 서브프로세스를 직접 사용할 수 없거나 비용·프라이버시·지연 문제로 대체된 근사 모델(통계적, 머신러닝, 최적화 프록시 등).
• 기존 시뮬레이션 연구는 **입력 불확실성(Input Uncertainty, IU)**에 집중했으나, 의사결정 로직·최적화·예측 모델 등 내부 서브모델에서 발생하는 불확실성은 체계적으로 다루어지지 않았다.
• 이 논문은 **‘서브모델 불확실성’**이라는 포괄적 개념을 도입해, 에피스테믹(모델 추정)과 알레아토릭(본질적 난수) 변동을 동시에 고려한다.

2. 주요 기여

3. 방법론 상세

1. 서브모델 샘플링

   • 부트스트랩: 관측 데이터에서 재표본을 뽑아 다수의 파라메터/구조 추정치를 생성.
   • BMA: 모델 구조(예: 다양한 분포, ML 아키텍처)마다 사전 확률을 부여하고 사후 가중 평균을 계산, 모델 불확실성까지 포괄.

2. 실험 설계

   • Stacked LH: 각 서브모델 차원에 대해 라틴 하이퍼큐브를 겹쳐서, 전체 조합을 균등하게 샘플링하면서도 차원 저주를 완화.

3. 불확실성 분해 트리

   • 시뮬레이션 결과를 분산분해(ANOVA‑like) 형태로 표현.
   • 노드: 서브모델(또는 서브모델 집합) → 엣지: 조건부 변동 기여.
   • 중요도 점수: 전체 분산 중 해당 노드가 차지하는 비율, 베이지안 경우는 사후 분산 기여도.

4. 디지털 트윈 확장

   • 매 시점 (t)마다 상태 (\mathbf{s}_t)를 초기화하고, 동일한 트리 분해를 수행.
   • 시간 평균 중요도: (\frac{1}{T}\sum_{t=1}^T \text{score}_{\text{submodel}}(t)).
   • 상태 평균 편향: 관측 KPI와 시뮬레이션 KPI 차이를 서브모델별 편향으로 역추정.

4. 실험 및 결과

• 합성 예제: 3가지 서브모델(Deterministic, Unconditional, Conditional) 각각에 대해 불확실성 기여도가 정확히 복구됨을 확인.
• 콜센터 디지털 트윈:
  • 입력 예측 서브모델(고객 도착) → 전체 변동 45% 기여.
  • 라우팅 정책 서브모델(ML 기반) → 30% 기여, 데이터 추가 시 기여도 감소 확인.
  • 스케줄링 최적화 프록시 → 15% 기여, 알고리즘 개선보다 데이터 품질 향상이 더 효과적임을 시사.

5. 강점

• 범용성: 파라메트릭·비파라메트릭, 빈도주의·베이지안 모두 적용 가능.
• 실용성: 디지털 트윈과 같이 실시간 의사결정이 요구되는 환경에 직접 활용 가능.
• 시각화 친화: 트리 기반 중요도 점수는 비전문가도 이해하기 쉬운 시각적 도구 제공.
• 비용 효율: 스택드 LH 설계와 부트스트랩을 결합해 시뮬레이션 실행 횟수를 크게 줄임.

6. 한계 및 개선점

7. 향후 연구 방향

1. 동적 서브모델 학습: 디지털 트윈에서 서브모델 자체를 실시간으로 업데이트하는 메커니즘(예: 온라인 학습)과 불확실성 전파를 통합.
2. 다중 목표 KPI: 여러 KPI(대기시간, 비용, 서비스 수준) 간 트레이드오프를 동시에 고려하는 다목표 불확실성 분해.
3. 강인성(Robustness) 설계: 서브모델 불확실성을 고려한 최적 정책(robust optimization) 설계와 연계.
4. 대규모 시스템 적용: 공급망, 스마트 팩토리 등 수천 개 서브모델을 갖는 대규모 시뮬레이션에 대한 스케일링 기법(분산 컴퓨팅, GPU 기반 부트스트랩) 개발.

**

📄 Content

많은 확률론적 시스템은 운영 연구와 관리 과학에서 시스템 행동의 특정 측면(예: 수요 생성, 서비스 역학, 라우팅 논리, 최적화 기반 의사결정)을 나타내는 상호 연결된 하위 프로세스들의 집합으로 볼 수 있다. 이러한 시스템을 확률 시뮬레이션으로 연구할 때 모델러는 각 하위 프로세스를 어떻게 모델링할지 결정해야 한다. 실제 하위 프로세스에 직접 접근하거나 완전히 이해할 수 없는 경우가 많으며, 이 경우 실제 세계에서 관찰되는 데이터(예: 서비스 시스템에서 고객 도착을 관찰)만을 이용하게 된다. 반면에, 실제 하위 프로세스가 접근 가능하지만 정책이나 복잡한 해법(예: 최적화)으로 구현된 경우에도, 프라이버시, 지연, 계산 비용, 데이터 접근성 등의 이유로 시뮬레이션에 직접 삽입하기가 비현실적일 수 있다. 이러한 이유로 모델러는 필요에 따라 혹은 선택에 따라 하위 프로세스를 생성 모델, 단순화된 의사결정 규칙, 휴리스틱, 혹은 과거 데이터에 기반해 훈련된 최적화 프록시와 같은 근사 표현으로 대체한다. 여기서부터는 이러한 근사 모델을 **서브모델(submodel)**이라 부르며, 서브모델은 여러 형태를 취할 수 있다.

서브모델의 형태

1. 확률 입력 모델
   고객 수요나 서비스 시간과 같은 확률 입력을 모델링할 때는 실제 데이터를 기반으로 확률 분포를 적합한다.
2. 입출력 매핑 모델
   하위 프로세스의 입력‑출력 데이터를 이용해 감독 학습 기법으로 학습된 함수 형태의 서브모델이다.

두 경우 모두 서브모델을 선택할 때는 정확도, 해석 가능성, 계산 비용 사이의 절충이 필요하다.

서브모델이 시뮬레이션에 미치는 오류 전파

시뮬레이션 모델에 서브모델을 사용하면 오류가 모델 전반에 전파되어 최종 출력에 영향을 미친다. 이러한 오류 전파 메커니즘을 이해하는 것은 핵심 성과 지표(KPI)의 불확실성을 정량화하고, 불확실성을 감소시키기 위한 노력을 어디에 집중할지 결정하는 데 필수적이다. 기존 시뮬레이션 문헌에서는 입력 불확실성(Input Uncertainty, IU)—즉, 제한된 데이터로부터 확률 입력 모델을 추정할 때 발생하는 인식론적 불확실성—에 대해 광범위하게 연구했지만, 결정 로직, 이벤트 순서, 시스템 상태 등 내부 동역학에 영향을 주는 서브모델에서 발생하는 불확실성에 대해서는 거의 다루지 않았다. 두 종류의 서브모델이 도입하는 오류는 시뮬레이션 행동에 복잡하고 경로 의존적인 영향을 미칠 수 있다. 예를 들어, [11]은 IU 방법을 차용해 머신러닝(ML) 대리 모델이 삽입된 의사결정 지원 시스템(DSS)의 불확실성을 연구하였다. 본 논문은 [11]의 아이디어를 확장하여 확률 시뮬레이션 모델 전반에 존재하는 모든 인식론적 불확실성을 포괄하는 통합 프레임워크를 제시한다. 우리는 이러한 보다 일반적인 형태의 인식론적 불확실성을 **서브모델 불확실성(Submodel Uncertainty)**이라 부른다.

주요 기여

• **부트스트래핑과 베이지안 모델 평균화(BMA)**를 이용해 설계된 시뮬레이션 실험을 구동할 수 있는 타당한 서브모델 집합을 생성한다.
• 실험 설계(Design of Experiments, DOE), 특히 스택드 라틴 하이퍼큐브(Latin Hypercube, LH) 디자인을 활용해 다수의 서브모델이 존재하는 시스템에서 서브모델 인스턴스 공간을 효율적으로 탐색한다.
• 실험 결과를 이용해 알레아토릭(aloe‑tatic) 불확실성과 인식론적(epistemic) 불확실성을 모두 반영한 **분위수 기반 신뢰구간(CI) 혹은 신뢰구간(Credible Interval)**을 구축한다.
• 트리 기반 방법을 제안하여 전체 불확실성을 알레아토릭·인식론적 요소로 분해하고, 인식론적 불확실성을 개별 서브모델에 귀속시킨 중요도 점수(Importance Scores) 를 제공한다. 이를 통해 실무자는 가장 영향력 있는 서브모델을 식별하고, 추가 데이터 수집이나 모델 사양 개선을 통해 전체 불확실성을 효율적으로 감소시킬 수 있다.
• 프레임워크는 파라메트릭·비파라메트릭 서브모델, 빈도주의·베이지안 패러다임 모두를 포괄한다. 또한 기존 IU 연구가 입력 모델 간 독립성을 가정([15])하는 것과 달리, 서브모델 간 독립성을 전혀 가정하지 않는다.

디지털 트윈과의 연계

디지털 트윈 환경에서는 실시간 혹은 주기적으로 관측된 시스템 상태 데이터를 통합해 물리 시스템의 가상 복제본을 동기화한다[25,16,34]. 디지털 트윈은 모니터링, 예측, 실시간 운영 전략 평가에 활용되며, 최근 연구는 **불확실성 정량화(UQ)**가 신뢰성 있는 예측과 의사결정 지원에 핵심임을 강조한다[37]. 디지털 트윈에서도 시뮬레이션 모델은 관측된 시스템 상태로부터 반복적으로 초기화되며, 예측 도구, 라우팅 모델, 최적화 프록시와 같은 서브모델에 크게 의존한다. ML 기반 서브모델의 활용이 증가하고 있다는 점은 [35]에서 자세히 다루고 있다. 본 논문은 시스템 상태가 시간에 따라 변하고 서브모델이 시계열 의존성을 가질 수 있는 경우를 포함하도록 프레임워크를 확장한다. 구체적으로는 각 상태에 대해 트리 기반 방법을 적용하고, 상태별 중요도 점수를 집계해 시간에 따른 서브모델별 불확실성 기여도를 정량화·비교한다. 또한 과거 시스템 상태와 KPI 데이터가 존재할 때 상태 평균 편향(state‑average bias) 을 추정하는 방법도 제안한다. 요약하면, 본 접근법은 오프라인 시뮬레이션과 온라인 디지털 트윈 모두에서 신뢰할 수 있는 의사결정을 지원하는 통합·확장 가능한 불확실성 정량화·분해 프레임워크를 제공한다.

논문의 구성

1. Section 2 – 시뮬레이션 시스템에서 서브모델을 공식적으로 정의하고, 기능 형태에 따라 분류한다.
2. Section 3 – 서브모델 불확실성을 수학적으로 도입한다.
3. Section 4·5 – 재표본 기반 UQ 방법과 트리 기반 불확실성 귀속 방법을 설명하고, 수치 예제를 제시한다.
4. Section 6 – 디지털 트윈 환경으로 서브모델 불확실성을 확장하고, 콜센터 사례를 통해 시연한다.
5. Section 7 – 결론 및 향후 연구 방향을 제시한다.

확률 시뮬레이션 모델의 기본 형태

확률 시뮬레이션 모델은 입력 변수 집합 (X) 와 무작위 원시값 (\xi) 를 받아 응답 (Y) 를 반환하는 매핑 (g) 로 표현될 수 있다. 즉, [ Y = g(X, \xi). ]

시뮬레이션 모델은 일반적으로 여러 상호 연결된 하위 프로세스로 구성되며, 각 하위 프로세스는 시스템 행동의 특정 측면을 모사한다. 실제 하위 프로세스를 직접 시뮬레이션에 포함시키기 어려운 실용적인 제약이 많이 존재한다.

1. 접근 불가능 – 예를 들어, 고객 도착 프로세스는 실시간으로 관측할 수 없으며, 따라서 직접 모델링이 불가능하다.
2. 데이터·지연 제약 – 실제 프로세스가 접근 가능하더라도, 데이터 양이 방대하거나 응답 지연이 커서 시뮬레이션 내에서 반복 호출하기가 비현실적이다.
3. 운영 간섭 – 라우팅, 파견, 할당 등 실시간 의사결정 모듈은 여러 애플리케이션에서 공유되므로, 시뮬레이션 실험 중에 직접 호출하면 실 운영에 방해가 되거나 민감 정보가 노출될 위험이 있다.

이러한 문제는 서브모델을 이용해 근사하거나 대체함으로써 해결할 수 있다. 서브모델에 대한 자세한 동기 부여는 [11]을 참고한다.

서브모델의 수학적 표현 및 분류

서브모델은 일반적으로 다음 형태로 표현된다. [ Y = g(\cdot) ] 여기서 (g)는 입력 변수와/또는 무작위 원시값에 의존한다. 우리는 서브모델을 세 가지 클래스로 구분한다.

1. 결정론적 서브모델 (Deterministic Submodels)

[ Y = g(X) ] 입력 변수 (X)만을 이용해 결정적인 출력을 생성한다. 따라서 알레아토릭 불확실성을 전혀 도입하지 않는다. 예시:

• 최적화 프록시 – 실제 최적화 솔버를 대체하는 함수. (X)는 문제 인스턴스 파라미터, (Y)는 최적해.
• 강화학습(RL) 정책 – 상태 (X)에 대해 행동 (Y)을 결정하는 정책 함수. IRL을 통해 보상 함수를 학습하고, 이를 기반으로 정책을 추정할 수 있다.

2. 무조건 확률 서브모델 (Unconditional Stochastic Submodels)

[ Y = g(\xi) ] 입력 변수 없이 무작위 원시값 (\xi)만으로 출력을 생성한다. 이는 알레아토릭 불확실성을 직접 주입한다. 예시:

• 역누적분포함수(CDF) 변환 – (\xi \sim U(0,1))을 이용해 원하는 분포의 난수를 생성.
• 신경망 기반 생성 모델 – VAE, GAN 등에서 (\xi)는 표준 정규분포를 따르는 잠재 변수이며, (g)는 신경망으로 파라미터화된다.

3. 조건부 확률 서브모델 (Conditional Stochastic Submodels)

[ Y = g(X, \xi) ] 입력 변수와 무작위 원시값을 동시에 사용한다. 예시:

• 조건부 VAE(CVAE) – 컨텍스트 (X)와 잠재 변수 (\xi)를 결합해 조건부 샘플을 생성.
• 확률 최적화 프록시 – 문제 파라미터 (X)와 알고리즘 내부 난수 (\xi)를 이용해 최적해의 확률적 근사값을 제공.

서브모델을 포함한 공급망 시뮬레이션 예시

다중 단계 공급망을 고려한다. 제품은 공장 → 물류센터 → 소매점 순으로 동적으로 할당되어야 하며, 수요와 재고·운송 자원의 현재 상태에 따라 결정이 이루어진다. 주요 서브모델은 다음과 같다.

1. 수요 도착 서브모델 – 무조건 확률 서브모델로, 실시간 수요 실현을 생성한다.
2. 배분 의사결정 서브모델 – 조

이 글은 AI가 자동 번역 및 요약한 내용입니다.