스파스 코딩과 어텐션을 결합한 LISTA Transformer 기반 결함 진단 모델

초록

본 논문은 LISTA(학습 가능한 반복 수축 임계값 알고리즘) 기반의 스파스 인코더와 Vision Transformer를 결합한 하이브리드 모델을 제안한다. 연속 웨이브렛 변환으로 얻은 시간‑주파수 이미지에 적용해 로컬·글로벌 특징을 동시에 추출하고, CWRU 베어링 데이터셋에서 98.5%의 인식률을 달성하였다.

상세 분석

본 연구는 기존 딥러닝 기반 결함 진단 방법이 갖는 두 가지 근본적인 한계, 즉 지역 특징을 포착하는 능력과 전역 의존성을 모델링하는 능력 사이의 균형 문제를 해결하고자 한다. CNN은 제한된 수용 영역으로 인해 장거리 의존성을 포착하기 어렵고, 순수 Transformer는 패치 단위의 자체 어텐션이 지역 구조를 충분히 반영하지 못한다는 점이 지적된다. 이를 보완하기 위해 저자는 LISTA 알고리즘을 활용한 스파스 코딩 모듈을 설계하였다. LISTA는 ISTA(Iterative Shrinkage‑Thresholding Algorithm)를 신경망 형태로 풀어낸 것으로, 입력 신호를 고차원 공간에서 희소하게 표현하면서도 학습 가능한 파라미터를 통해 역전파가 가능하도록 만든다. 스파스 인코더는 원본 시간‑주파수 이미지의 잡음과 불필요한 정보를 억제하고, 핵심 특징을 압축된 형태로 추출한다.

추출된 스파스 표현은 Vision Transformer(ViT)의 패치 임베딩 단계에 직접 입력된다. ViT는 멀티‑헤드 셀프 어텐션을 통해 전역적인 상관관계를 학습하는데, 여기서는 스파스 코딩 단계에서 이미 지역적인 구조가 강조된 특징 맵을 사용함으로써 어텐션 연산이 보다 의미 있는 지역‑전역 상호작용을 수행한다. 또한, 스파스 코딩 과정에서 학습 가능한 임계값(Threshold)과 필터 행렬을 최적화함으로써 모델 복잡도를 크게 증가시키지 않으면서도 표현력을 강화한다.

데이터 전처리 측면에서는 연속 웨이브렛 변환(CWT)을 채택해 비정상적인 베어링 진동 신호를 시간‑주파수 이미지로 변환한다. CWT는 스케일에 따라 가변적인 윈도우를 제공하므로, 저주파와 고주파 성분을 동시에 해상도 있게 표현할 수 있다. 변환된 이미지들은 2‑D 형태로 LISTA‑Transformer에 투입되며, 이 과정에서 불필요한 차원(예: 채널 수)을 줄이고 메모리 사용량을 최적화한다.

실험은 미국 케이스 웨스턴 리저브 대학(CWRU) 베어링 데이터셋을 사용하였다. 다양한 부하와 회전 속도 조건 하에서 정상, 내·외부 결함(내측, 외측, 구면) 4가지 클래스를 포함한 5‑class 분류 문제를 설정하였다. 제안 모델은 98.5%의 정확도를 기록했으며, 이는 전통적인 SVM‑CWT, CNN‑LSTM, 기존 Vision Transformer 기반 모델보다 각각 3.3%~5% 이상 높은 성능이다. 또한, 파라미터 수와 FLOPs 측면에서도 순수 Transformer 대비 20% 정도 감소했으며, 학습 수렴 속도도 빠른 편이다.

한계점으로는 CWT 전처리가 계산 비용을 추가한다는 점과, LISTA 모듈의 하이퍼파라미터(반복 횟수, 임계값 초기값) 설정이 실험마다 민감하게 작용할 수 있다는 점을 들 수 있다. 향후 연구에서는 보다 경량화된 시간‑주파수 변환(예: 멀티‑레졸루션 웨이브렛)과 자동 하이퍼파라미터 최적화 기법을 도입해 실시간 진단 시스템에 적용하는 방안을 모색할 필요가 있다.