다중모달 가상 센싱 벤치마크 MuViS: 범용 평가 플랫폼

초록

MuViS는 환경, 차량, 배터리, 의료 등 여섯 분야의 멀티모달 시계열 데이터를 통합한 도메인‑불특정 가상 센싱 벤치마크이다. 동일한 전처리·평가 파이프라인을 제공하고, GBDT와 4가지 딥러닝 모델을 비교했을 때 어느 모델도 모든 도메인에서 일관된 우위를 보이지 않음을 확인한다. 이를 통해 범용 가상 센싱 아키텍처의 필요성을 강조하고, 오픈소스 플랫폼을 공개한다.

상세 분석

MuViS는 가상 센싱 문제를 “멀티모달 동적 시계열 → 정규화된 센서값”이라는 함수‑투‑값 매핑으로 정의한다. 각 샘플은 M개의 모달리티(센서 스트림)로 구성되며, 모달리티마다 차원 D_j와 길이 T_j가 다를 수 있다. 논문은 이러한 이질성을 다루기 위해 모든 모달리티를 동일한 윈도우 길이 s= max_j T_j 로 맞추고, 짧은 시퀀스는 패딩·마스킹·업샘플링으로 처리한다. 또한 실제 시스템에서는 센서 구성이 동적으로 변할 수 있음을 반영해, 각 샘플마다 관측 가능한 모달리티 집합 S_i ⊆ {1,…,M} 를 제공하고 모델이 S_i에 포함된 입력만 사용하도록 설계했다.

데이터셋 측면에서 MuViS는 다음과 같이 여섯 개의 이질적인 도메인을 포함한다. ① 베이징 대기질 데이터(PM2.5/PM10) – 24시간(시간당) 멀티채널 시계열, ② 레이스카 동역학 데이터(측면 속도) – 20 Hz, 12 ms 윈도우, ③ 타이어 온도 데이터 – 1 Hz, 50 스텝, ④ Tennessee Eastman 공정 시뮬레이션 – 3 분 간격, 20 스텝, ⑤ 배터리 SOC – 10 Hz, 120 스텝, ⑥ PPG‑DaLiA 심박수 – 64 Hz, 512 스텝. 각 데이터셋은 동일한 고정‑길이 윈도우와 표준 train/validation/test 분할을 적용해 비교 가능성을 확보했다.

모델 베이스라인은 두 종류의 그래디언트 부스팅 트리(XGBoost, CatBoost)와 네 가지 딥러닝 아키텍처(MLP, LSTM, 1‑D ResNet, BERT‑형 Transformer)이다. 비시계열 모델은 시계열을 평탄화해 피처 벡터로 변환하고, 딥러닝 모델은 시계열 입력을 그대로 사용한다. 하이퍼파라미터 탐색은 Optuna와 TPE 샘플러를 이용해 각 모델‑데이터셋 조합당 100번의 트라이얼을 수행했으며, 검증 RMSE를 최적화 목표로 삼았다.

실험 결과는 도메인별 성능 차이를 강조한다. GBDT는 차량 동역학, Tennessee Eastman, Beijing PM10에서 가장 낮은 RMSE를 기록했으며, LSTM과 ResNet은 레이스카와 Beijing PM2.5에서 우수했다. 통계적 검증(Friedman 테스트, p=0.095)에서는 모델 간 유의미한 차이를 찾지 못했으며, Nemenyi 검정의 임계값을 살짝 초과하는 순위 차이만 관찰되었다. 이는 현재 존재하는 모델들이 특정 도메인에 특화된 편향을 가지고 있음을 시사한다.

논문의 주요 기여는 (1) 멀티모달 가상 센싱을 위한 통합 데이터 포맷과 평가 파이프라인 제공, (2) 다양한 도메인에 걸친 광범위 벤치마크 수행, (3) 오픈소스 프레임워크 공개로 향후 새로운 데이터셋·모델 추가를 용이하게 만든 점이다. 한계점으로는 고정된 윈도우 길이와 전체 모달리티가 항상 관측 가능한 상황을 가정했으며, 실제 현장에서는 센서 결함·불규칙 샘플링이 더 복잡하게 나타날 수 있다. 또한, 현재 평가 지표가 RMSE에 국한돼 있어 실시간 제어 혹은 신뢰도 기반 응용에 대한 평가가 부족하다. 향후 연구는 (가) 동적 모달리티 선택·가중치 학습, (나) 멀티태스크·불확실성 추정, (다) 경량화된 온‑디바이스 모델 설계 등을 통해 범용 가상 센서 아키텍처를 탐색할 필요가 있다.