서론

Industry 4.0의 발전은 고급 컴퓨팅과 네트워크 시스템을 통해 디지털 트윈(DTs)의 광범위한 채택을 가능하게 했습니다. 디지털 트윈은 물리적 시스템의 가상 대응체로 실시간 모니터링, 시뮬레이션, 프로세스 최적화 및 이상 감지를 제공합니다. 디지털 트윈 기반 이상 감지는 실제 실패 데이터 수집이 비용이 많이 드는 문제를 해결하기 위해 큰 규모의 합성 데이터셋을 생성하고 사용할 수 있습니다.

산업 시스템에서 이상 감지는 자산 모니터링, 고장 식별, 예측 유지보수 및 성능 최적화에 필요합니다. 또한 사이버 보안에서는 네트워크 침입 검출에 중요한 역할을 합니다. 이로 인해 다양한 중앙 집중식 이상 감지 방법이 제안되었으며, 이를 포함하여 지도 학습, 준지도 학습 및 비지도 학습 패러다임에서의 여러 방법론들이 있습니다.

최근에는 딥 뉴럴 네트워크 기반 이상 감지 방법이 제안되어 고차원 및 복잡한 데이터셋 내의 이상을 검출하는 데에서 큰 개선을 보였습니다. 이러한 방법은 다양한 아키텍처를 사용하여 구현되며, 순환 네트워크, 컨볼루션 네트워크, 오토인코더, 생성적 적대 신경망, 트랜스포머 및 그래프 뉴럴 네트워크가 포함됩니다.

이러한 발전에도 불구하고 통계학적 방법과 딥 러닝 기반 이상 감지 방법은 여전히 여러 중요한 도전 과제를 안고 있습니다. 가장 큰 한계는 실제 센서 데이터와 레이블링된 데이터의 부족으로 인해 견고한 모델을 개발하는 것이 어려운 점입니다. 특히 드문 사건에 대한 데이터가 부족하면 가짜 경보율이 높아질 수 있습니다.

또한 이러한 방법들은 중앙 집중식 데이터 처리에 의존하므로 민감한 데이터를 중앙 서버로 전송하고 저장해야 하기 때문에 사생활과 보안 위험이 큽니다. 또한 고성능 컴퓨팅 인프라가 필요해 실시간 연속 학습 시나리오에서 적합하지 않을 수 있습니다.

디지털 트윈 기반 이상 감지 모델은 연방 학습 메커니즘을 통한 실제 자산의 실시간 모델과 통합될 수 있습니다. 연방 학습(FL)은 중앙 서버에 원시 데이터를 전송하지 않고 다수의 장치에서 모델을 훈련시키는 분산화된 머신러닝 접근 방식입니다.

라벨링된 데이터가 제한적일 때 디지털 트윈은 합성 데이터셋을 생성하는 데 사용됩니다. Benedictis *et al.*은 산업 IoT의 이상 감지를 위한 디지털 트윈과 자율 컴퓨팅 패러다임 기반 개념 아키텍처를 소개합니다.

이러한 디지털 트윈 기반 연방 이상 감지 프레임워크에도 여전히 해결해야 할 여러 도전 과제가 있습니다. 하나의 주요 도전은 현재 프레임워크가 순수하게 디지털 트윈에 의존하고 물리적 대응체와 효과적으로 통합되지 않는다는 점입니다.

본 연구에서는 디지털 트윈을 연방 학습 메커니즘과 함께 사용하는 다양한 이상 감지 프레임워크를 제안합니다. 표 [tab:comparison_FL]은 제안된 작업의 주요 기능을 비교하기 위한 것입니다.

본 논문에서는 위에서 언급한 문제를 해결하기 위해 디지털 트윈과 연방 학습 패러다임을 활용하는 혼합적인 통신 효율적인 이상 감지 프레임워크를 제안합니다. 디지털 트윈과 연방 학습을 이상 감지에 통합하면 다음과 같은 이점을 제공합니다: (i) 디지털 트윈은 대량의 데이터를 생성할 수 있으며, 이를 통해 견고한 이상 감지 모델을 훈련시키는 데 사용할 수 있습니다. 또한 합성 데이터와 실제 자산 데이터를 함께 활용하여 이상 감지 모델의 일반화 능력을 개선합니다.

본 논문의 기여 요소는 다음과 같습니다:

• 우리는 4개의 지도 학습 및 하나의 준지도 학습 메커니즘을 제안합니다.
• 디지털 트윈 기반 지식 증류를 제안하고 이를 위한 세부적인 계산 복잡성 분석을 제공합니다.
• 실제 디지털 및 물리 자산에서 공개적으로 사용 가능한 데이터셋을 이용한 성능 분석을 수행했습니다.

본 논문의 나머지 부분은 다음과 같이 구성됩니다: 제2장에서는 제안된 방법을 설명하고, 제3장에서는 실험 설정과 데이터셋을 소개하며, 제4장에서는 성능 분석 결과를 시각화하고 관련 토론을 포함합니다. 마지막으로 결론과 미래 연구 방향은 제5장에서 제공됩니다.

표기법 - 벡터와 행렬은 각각 굵은 소문자 및 대문자로 표시됩니다.

제안된 방법

우리는 산업 IoT에서 이상 감지에 대한 혼합 디지털 트윈 기반 연방 학습 프레임워크를 제안합니다. 주요 목표는 디지털 트윈에서 생성된 시뮬레이션 데이터와 실제 자산에서 수집된 데이터를 활용하여 견고한 전역 이상 감지 모델을 공동으로 훈련시키는 것입니다.

• 여러 물리적 시스템은 정상 및 이상 이벤트와 관련된 운영 데이터를 포함하는 로컬 데이터셋을 갖추고 있습니다;
• 디지털 트윈은 물리적 시스템의 다양한 운영 시나리오를 시뮬레이션하기 위한 합성 데이터셋을 생성합니다;
• 실제 자산에서 수집한 데이터와 디지털 트윈에서 생성된 합성 데이터를 사용하여 이상 감지 모델을 훈련시킵니다;
• 연방 학습을 통해 로컬 모델의 다양한 통합을 기반으로 훈련이 이루어집니다.

DT 기반 연방 학습

제안된 프레임워크는 여러 자산에 걸친 전역 목표의 분산 최적화를 포함합니다. $`K`$ 개의 물리적 자산을 고려하며, 각각은 로컬 데이터셋 $`\mathcal{D}_k=\{(\bm{x}_{k,i}, y_{k,i})\}_{i=1}^{n_k}`$, 표본 수 $`n_k`$, 특성 벡터 $`\bm{x}_{k,i}\in\mathbb{R}^d`$ 및 정상 또는 이상 라벨 $`y_{k,i}\in\{0,1\}`$를 포함합니다. 연방 학습에서의 목표는 전체 이상 감지 모델을 최적화하는 것입니다:

\begin{equation}
\bm{\Theta}^* = \arg\min_{\bm{\Theta}} \frac{1}{\sum_{k=1}^{K} n_k} \sum_{k=1}^{K} \sum_{j=1}^{n_k} \ell_\text{BCE}(\bm{\Theta}; d_{k,j}),
\label{eq:global_objective}
\end{equation}

이러한 프레임워크는 반복 라운드를 통해 중앙 서버가 자산의 부분집합을 무작위로 선택하고, 각 클라이언트는 미니 배치 확률적 경사 하강법을 사용하여 로컬 모델을 훈련시킵니다.

디지털 트윈 기반 연방 학습에서는 디지털 트윈이 다양한 운영 조건을 포착하는 합성 데이터셋을 제공합니다. 이 데이터셋을 이용한 독립적인 DT 기반 모델 $`\bm{\Theta}_{\text{twin}}`$는 모든 물리적 시스템과 공유됩니다.

다섯 가지 방법이 제안되어 디지털 트윈 및 클라이언트 매개변수를 훈련 중 통합합니다:

1. DT 기반 메타 학습(DTML) - 클라이언트 적응을 통해 전역 초기화를 학습하고, 이를 디지털 트윈 데이터로 정제합니다.
2. 연방 매개변수 융합(FPF) - 클라이언트 매개변수를 유사도 가중 평균으로 통합하여 견고한 전역 모델을 형성합니다.
3. 계층별 매개변수 교환(LPE) - 디지털 트윈과 집적된 모델 간의 계층 선택을 통해 세밀한 양방향 지식 전달을 가능하게 합니다.
4. 순환 가중치 적응(CWA) - 클라이언트가 집합된 매개변수와 디지털 트윈 간 학습 동역학을 맞추기 위해 순환적으로 업데이트합니다.
5. DT 지식 증류(DTKD) - 소프트 라벨을 사용하여 클라이언트 학습을 안내하며, 실제 레이블 없이도 반지도 학습을 가능하게 합니다.

제안된 접근 방식의 요약은 표 [tab:proposed_approaches]에 제시됩니다.

DT 기반 메타 학습

/>

우리는 디지털 트윈을 전역 검증자로 활용하여 연방 이상 감지에서 일반화를 개선하는 혼합 연방 메타 학습 프레임워크를 제안합니다. 표준 연방 평균화와 달리, MLDT는 각 클라이언트가 로컬 작업에 빠르게 적응하면서도 디지털 트윈 데이터에서 잘 작동하는 전역 모델을 제공합니다.