산업용 멀티모달 모니터링을 위한 비대칭 인식 라우팅 프레임워크

본 논문은 산업용 설비 상태 진단에 사용되는 멀티모달 센서 데이터(열화상, 전류·온도·입자 센서, 음향, 진동 등)에서 ‘모달리티 비대칭’ 문제를 체계적으로 진단하고, 이에 맞는 처리 전략을 자동으로 선택하는 ‘비대칭 인식 라우팅 프레임워크’를 제안한다. **배경 및 동기** 멀티모달 융합은 다양한 센서가 제공하는 정보를 통합해 높은 정확도를 기대하게 하지만, 실제 산업 현장에서는 센서 간 정보량 차이가 크다(예: 저가 열화상 vs 고정밀 전류 센서). 이런 경우 융합 모델이 강한 모달리티에 과도하게 의존하거나, 약한 모달리티가 오히려 잡음을 주입해 성능을 저하시킬 위험이 있다. 기존 연구는 훈련 과정에서 모달리티 불균형을 완화하는 기법(gradient modulation, class‑guided scaling 등)을 제시했지만, ‘융합 자체가 적절한가’를 판단하는 전 단계 진단이 부재했다. **프레임워크 설계** 프레임워크는 세 가지 독립적인 진단 단계와 명시적 임계값을 결합한다. 1. **단일모달 성능 격차**: 각 모달리티를 독립적으로 학습·평가해 macro‑F1 점수 Fs, Ft를 얻고, gap ratio = max(Fs,Ft)/min(Fs,Ft)+ε 로 정의한다. gap ratio > 2.0이면 ‘심각한 비대칭’으로 간주한다. 2. **게이트 가중치 분석**: 게이트 기반 융합 모델(예: Gated Fusion, MulT 등)에서 테스트 샘플에 대한 모달리티 가중치 g=