서론

현대 기계는 자동화 및 복잡성 수준이 높아짐에 따라 장비의 신뢰성이 점점 더 엄격한 요구사항을 충족해야 합니다. 예기치 않은 고장은 금전적 손실, 비계획적인 중단, 심지어는 재앙적인 사고를 초래할 수 있습니다. 이러한 위험을 완화하기 위해 산업계에서는 다양한 진동, 전류, 소음 신호를 지속적으로 모니터링하기 위한 대규모 센서 네트워크를 배치하고 있습니다. 이러한 모니터링 데이터를 활용하여 초기 단계에서 이상 징후를 탐지하고 적시에 유지보수 개입을 가능하게 하는 장애 진단이 수행됩니다.

최근에는 딥러닝 기반의 지능형 데이터 주도 장애 진단 방법들이 그 강력한 능력을 바탕으로 큰 관심을 받고 있습니다. 이들은 원시 센서 측정값에서 구별 가능한 표현을 자동으로 학습하는 데 능합니다. 전통적인 물리 기반 접근법과 수작업에 의존하는 기존 머신러닝 방법과 비교할 때, 딥러닝 방법은 복잡한 사전 전문 지식이나 수작업 특징 추출의 필요성을 제거하여 매우 유망한 진단 성능을 보여줍니다. 예를 들어 회전 장비의 진동 신호는 딥러닝 모델에 직접 입력될 수 있으며, 이들 모델은 자동으로 관련된 특징을 학습할 수 있습니다. Borghesani 등은 1차원 컨볼루션 신경망(CNN)을 사용하여 베어링 고장 진단을 수행하고 진동 특징 추출 과정을 설명하려고 시도했습니다. Liu 등은 다중 스케일 커널을 사용한 잔여 네트워크를 설계하여 전기 모터의 고장 진단에 사용된 진동 신호를 활용하였습니다. 그러나 원시 1차원 신호는 복잡한 시간 특성과 비정상적인 행동을 보일 수 있으며, 이는 기존 1D 모델이 정보 패턴을 완전히 포착하는 데 제약을 줄 수 있습니다. 진동 신호의 밑바닥 시계열 구조를 더 잘 표현하기 위해 많은 연구에서 1차원 진동 신호를 단시간 푸리에 변환(STFT) 또는 웨이블릿 변환을 통해 2차원 시간-주파수 표현으로 변환하고, 이러한 변환된 이미지로부터 더욱 표현력 있는 특징을 추출하기 위해 2D 네트워크를 사용합니다. 그러나 진동 신호는 전기 고장에 대해 제한적인 민감도를 보일 수 있습니다. 따라서 모터의 전류 신호 또한 고장 진단에 널리 채택되었습니다. Jimenez-Guarneros 등은 경량 1D CNN을 설계하여 인덕션 모터의 기계적 및 전기적 고장을 진단하였습니다. 또한 소음 신호도 고장 관련 정보를 포함하고 있으며, 이를 통해 장비 고장 진단이 이루어졌습니다. Zhang 등은 그래프 컨볼루션 네트워크(GCN)와 함께 소음 신호를 사용하여 베어링 고장을 진단하였으며, Xiao 등은 노이즈 제거 오토인코더를 사용하여 소음 측정을 기반으로 모터 고장 진단을 수행하였습니다. 이러한 연구들은 모두 딥러닝을 이용한 진단 방법의 효과성을 보여줍니다.

그럼에도 불구하고 지능형 장애 진단 방법론은 일반화 능력이 실제 적용에 큰 장애물로 작용합니다. 기계는 종종 다양한 작업 조건 하에서 작동하며, 이러한 운영 속도 및 부하 변화로 인한 도메인 이동은 소스 조건의 데이터로 훈련된 모델의 성능을 크게 저하시킬 수 있습니다. 이를 해결하기 위해 도메인 적응(DA) 기법이 광범위하게 연구되었으며, 이러한 방법들은 출처 도메인과 대상 도메인 간의 특징 분포를 맞추어 조건 변동에 따른 부정적 효과를 완화하고 더 신뢰할 수 있는 교차 조건 고장 진단을 가능하게 합니다. 이에 따라 분산 최소화 및 도메인 적대 학습과 하위 도메인 적응(SDA) 방법이 다양한 작업 조건에서 기계 고장 진단에 효과를 보였습니다.

그러나 DA 방법론의 실제 적용을 방해하는 주요 한계 중 하나는 대상 도메인 데이터를 분포 맞춤에 사용한다는 점입니다. 실제 산업 시나리오에서는 이 요구 사항을 충족하기가 어렵습니다. 기계는 종종 새롭게 나타나거나 미리 수집되지 않은 작업 조건 하에서 작동하므로, 이를 해결하기 위해 도메인 일반화(DG)가 유망한 대안으로 등장했습니다. DG는 훈련 중에 대상 도메인 샘플을 접근하지 않고도 모델이 보지 못했던 대상 조건에 대해 일반화할 수 있도록 합니다. 출처 도메인에서 공변성과 구별 가능한 특징을 추출함으로써 DG는 분포 변동에 대한 모델의 강성을 높이고 미리 보지 못한 조건 하에서 고장 진단에 우수한 성능을 발휘합니다. 대부분의 DG 기반 고장 진단 방법은 도메인 적대 학습 또는 도메인 간격 최소화를 통해 도메인 일반성을 달성하며, 이를 통해 출처 도메인에서 추출된 공변성 특징이 보지 못했던 도메인에 더 잘 일반화될 수 있습니다. 또한 데이터 증강 및 메타러닝 전략을 활용하여 모델의 일반화 능력을 향상시키는 여러 연구가 있었습니다. 그러나 대부분의 기존 방법은 주로 공변성 표현 학습에 중점을 두고 있으며, 특정 작업 조건과 밀접하게 연관된 특징을 간과했습니다.

또한 기존 DG 기반 고장 진단 연구들은 일반적으로 단일 감지 모달성을 사용하며, 그중에서도 진동 신호가 주로 채택되었습니다. 하지만 한 종류의 신호만 사용하면 진단 일반화에 제약이 있을 수 있으며, 다양한 신호는 특히 전기 기계 장비에서 고장 관련 특성들을 보완적으로 포착합니다. 따라서 DG 기반 고장 진단에서는 다중 모달 융합이 보지 못했던 운영 조건에 대한 강성을 높이는 추가적인 잠재력을 제공할 수 있습니다. 다양한 모달을 결합함으로써 특정 도메인 특성 분포에 대한 의존도를 줄이고 교차 도메인 일반화를 더욱 안정적으로 만듭니다. 여러 연구에서는 고장 진단을 위한 다중 센서 융합 접근법들을 탐색했지만, 변동 조건 하에서 여전히 많은 도전 과제가 있습니다. 먼저 대부분의 기존 방법은 동일한 주파수로 샘플링된 여러 센서로부터 1차원 신호를 처리하는데 한정되어 있으며, 따라서 다양한 작동 조건에서 시계열 표현을 추출하거나 서로 다른 모달성이 본래 다른 샘플링 주파수를 가질 수 있는 상황을 다루지 못합니다. 두 번째로 대부분의 방법은 특정 고장에 대한 내재적 상관 관계와 모달성 특성을 고려하지 않고 여러 센서로부터 데이터나 특징을 직접 결합했습니다. 또한 현재까지 보지 못한 작업 조건 하에서 다중 모달 데이터를 사용하여 고장 진단을 수행하는 연구는 없습니다. 따라서 보지 못했던 조건에 대한 모델 일반화를 강화하기 위한 다중 모달 융합 프레임워크 설계는 여전히 도전적인 문제입니다.

이러한 과제와 한계를 극복하기 위해 이 논문은 고장 진단을 위한 다중 모달 교차 도메인 혼합 융합 모델을 제안합니다. 먼저 다양한 모달 데이터가 각각의 인코더에 의해 인코딩되어 전용 모달 임베딩이 얻어집니다. 두 번째로, 출처 도메인 간에 무작위로 혼합하는 교차 도메인 혼합 융합 메커니즘이 제안되어 도메인 편향을 완화하고 교차 도메인 특징 다양성을 풍부하게 합니다. 그 다음으로, 모달 공변성과 특정 표현을 분리하고 도메인 공변성과 특정 표현을 분리하는 이중 분리 프레임워크가 설계되어 더욱 강력한 도메인 일반화를 가능하게 합니다. 또한 여러 교차 주의 기반 세 가지 모달 융합 모듈이 개발되어 다양한 석기적 성질을 깊고 적응적으로 결합합니다. 제안된 방법론의 평가를 위해 인덕션 모터에 대한 실험을 수행하고, 일정 및 변동 작업 조건 하에서 진동, 전류, 소음 신호를 수집하였습니다. 보지 못한 작업 조건 하에서 다양한 고장 진단 실험을 수행하였으며, 비교 연구와 아블레이션 연구 모두 제안된 방법의 효능과 우수성을 확인했습니다. 이 연구의 주요 기여는 다음과 같습니다:

1. 모달 수준 및 도메인 수준에서 동시에 공변성과 특이성을 분리하는 이중 분리 프레임워크를 제안하여 고장 진단을 위한 다중 모달 DG를 강화했습니다.
2. 도메인 편향을 완화하고 일반화를 강화하기 위해 모달 증강을 위한 다중 도메인 혼합 융합 메커니즘을 설계했습니다.
3. 다양한 석기적 성질의 적응적이고 보완적인 결합을 달성하기 위한 세 가지 모달 융합 모듈을 도입했습니다.

이 논문의 나머지 부분은 다음과 같이 구성됩니다. 제 2 장에서는 다중 모달 융합과 DG에 관한 관련 연구를 소개한다. 제안된 방법론은 세부적으로 설명되어 있는 제 3 장에서 설명된다. 실험 및 결과는 제 4 장에 제시되며, 제 5 장에서는 논문을 마무리한다.

관련 연구

도메인 일반화

DA와 달리 DG는 훈련 중에 대상 도메인 데이터에 접근하는 제약 조건을 없앤다. 이 설정은 새로운 작업 조건의 데이터가 미리 제공되지 않는 실제 고장 진단 시나리오와 더 일치한다. 결과적으로, DG는 광범위한 연구 관심을 끌었다. DG에서 주류 아이디어는 여러 출처 도메인에 걸쳐 공변성 표현을 학습하는 것이다. 따라서 도메인 적대 학습이 가장 널리 채택된 접근법으로 자리잡았으며, 이 방법은 도메인 판별자를 도입하여 특징 추출기를 적대적으로 훈련시켜 판별자에게 혼란을 주는 공변성 특징을 학습할 수 있도록 한다. 예를 들어 Chen 등은 적대적 학습을 활용하여 보지 못한 작업 조건에서 베어링 고장 진단에 사용되는 도메인 공변성 특징을 추출하였습니다. Shi 등은 도메인 전이 가능성에 기반한 가중치 전략을 통해 도메인 적대 학습을 설계하고, 여러 베어링 데이터셋에서 높은 성능을 달성하였습니다. 일부 연구는 여러 출처 도메인의 특징 분포를 명시적으로 맞추려고 시도했습니다. 예를 들어 Pu 등은 변수 작업 조건 하에서 기어박스 고장 진단에 사용되는 $`\alpha`$-PE 발산을 소개하였습니다.

그러나 이러한 방법들은 주로 공변성 특징의 추출에 중점을 두면서 개별 작업 조건과 밀접하게 관련된 도메인 특정 특징의 중요성을 간과합니다. 이는 조건 관련 정보를 잃어버리는 결과를 초래하며, 모델이 훈련 시보다 크게 다른 작업 조건을 만나면 강성 및 분류 성능에 제약을 줄 수 있습니다. 따라서 Zhao 등은 고장 진단 일반화를 위한 공변성과 특정성을 결합하고 도메인 공변성 및 특정 특징 추출을 위해 별도의 하위 네트워크를 갖춘 DG 네트워크를 제안하였습니다. 또한 각 대상 샘플에 대해 출처 도메인과의 유사성을 평가하여 특정성을 선택합니다. 다른 연구들은 인과 학습의 관점에서 이 문제를 해결하려고 시도했습니다. Li 등은 기계 및 조건을 동시에 학습하는 인과 특징 학습을 위한 인과 일관성 네트워크(CCN)를 제안하였습니다. 유사하게 Jia 등은 고장 관련 인과 요인과 도메인 관련 비인과 요인을 인과 집약 손실을 통해 분리하려고 시도하였습니다. He 등은 인덕션 모터 고장 진단을 위해 도메인 분류기로 비인과 요인을 추출하고 상호 정보 손실을 사용하여 이를 인과 특징으로 분해하였습니다. 이러한 접근법들은 일반화를 개선하지만, 대부분 추가적인 분류기나 디코더가 필요하거나 복잡한 모듈이 포함되어 있습니다. 또한 모든 기존 방법은 단일 모달 데이터에 설계되었습니다.

다중 모달 융합

고장 진단의 맥락에서 여러 센서 신호를 결합하는 접근법에 큰 관심이 집중되고 있습니다. 융합 전략은 일반적으로 데이터 수준 융합, 특징 수준 융합 및 결정 수준 융합으로 나누어집니다. 데이터 수준 융합은 정보 손실 없이 여러 센서에서 원시 데이터를 직접 결합하며, 이는 종종 단일 모달 또는 동질적 데이터에 한정됩니다. 특징 수준 융합은 다양한 신호로부터 보완적인 특징을 통합하는 중간 표현을 조합합니다. 일부 연구는 다중 출처 표현을 직접 특징 연결로 결합하였으며, 다른 연구는 평균 풀링 연산에 의존하였습니다. 최근에는 교차 주의 메커니즘이 다중 특징 상호 작용을 강화하기 위해 도입되었지만, 대부분의 작업은 두 가지 특징 소스만 결합하여 확장성을 제한합니다. 결정 수준 융합은 덴퍼스트-샤페르(D-S) 증거 이론 및 부드러운 투표 규칙과 같은 의사 이론을 통해 여러 분류기나 의사 모듈의 출력을 집계하며, 이러한 방법들은 개별 모델의 정확도에 크게 의존합니다.

일부 연구에서는 고장 진단을 위한 다양한 석기적 성질에서 정보를 결합하였습니다. 예를 들어 Sun 등은 소음 신호와 적외선 열(IRT) 이미지를 기어박스 및 베어링-로터 시스템 고장 진단을 위해 상관 융합 모듈과 함께 결합하였습니다. Ying 등도 D-S 증거 이론을 바탕으로 한 특징 융합 모듈을 제안하여 소음 신호와 IRT 이미지를 결합하여 고장 진단을 수행하였습니다. 그러나 이러한 방법들은 주로 정보 결합에 중점을 두고 각 모달성 내의 특정성을 간과하며, 일정한 작업 조건에 설계되어 조건 편향성이 없습니다. 최근 Zhang 등은 MMD 손실 및 모달 성능 손실을 결합하여 다중 모달 융합을 통한 DA 방법을 연구했습니다. 그들의 접근법은 다양한 작동 조건에서 고장 진단이 가능하지만, DG보다는 DA 패러다임에 따라 대상 도메인 데이터에 대한 접근이 필요합니다.

방법론

방법 개요

이 논문에서는 다중 모달 도메인 일반화 문제를 해결하기 위해 새로운 접근법을 제안한다. 이 방법은 다양한 작업 조건에서 수집된 센서 신호를 결합하여, 미리 보지 못했던 조건에서도 효과적인 장애 진단을 가능하게 한다.