다중 가상 센서를 위한 효율적인 파운데이션 모델

초록

본 논문은 기존 가상 센서가 개별 모델과 전문가의 입력 선택에 의존하던 문제를 해결하고, 다수의 가상 센서를 동시에 예측할 수 있는 파운데이션 모델을 제안한다. 토큰 기반 디코더‑전용 트랜스포머에 입력·출력 신호를 임베딩하고, 가상 센서별 프로토타입 토큰과 학습 가능한 신호 중요도 벡터를 도입해 자동으로 관련 입력을 선택한다. 대규모 벤치마크와 자동차 데이터셋(180억 샘플)에서 기존 방법 대비 연산 시간 415배, 메모리 951배 절감하면서 예측 정확도는 동등하거나 향상된다.

상세 분석

이 연구는 가상 센서(Virtual Sensor) 분야와 시계열 파운데이션 모델(Time‑Series Foundation Model) 분야를 성공적으로 융합한다는 점에서 학술적·실용적 의의가 크다. 기존 가상 센서는 각 센서마다 별도 모델을 구축하고, 입력 변수는 도메인 전문가가 수작업으로 선정한다. 이는 모델 수가 센서 수와 비례해 급증하고, 서로 다른 센서 간의 상관관계를 활용하지 못한다는 한계를 가진다. 반면 최신 시계열 파운데이션 모델은 대규모 데이터와 다중 태스크를 한 번에 학습해 성능을 끌어올리지만, 입력 시계열 자체만을 예측하도록 설계돼 새로운 신호(가상 센서)를 생성할 수 없으며, 모델 규모가 거대해 현장 배치가 어려웠다.

논문은 이러한 두 문제를 동시에 해결한다. 기본 아키텍처는 디코더‑전용 트랜스포머를 사용해 입력 시계열을 패치 단위로 토큰화하고, 각 토큰에 시간 포지션 임베딩과 변량(variates) 임베딩을 더한다. 가상 센서를 예측할 때는 ‘프로토타입 토큰’을 0 벡터로 삽입하고, 해당 센서 전용 변량 임베딩을 더해 네트워크가 목표 신호를 학습하도록 유도한다. 이렇게 하면 모델은 기존 입력 시계열을 그대로 사용하면서도, 새로운 출력 시계열을 autoregressive 방식으로 생성할 수 있다.

핵심 혁신은 ‘신호 중요도 벡터(R′)’이다. 각 가상 센서 j에 대해 M+N 차원의 벡터 r′_j를 학습시키며, 이는 입력 신호와 다른 가상 센서가 해당 센서 예측에 얼마나 기여하는지를 나타낸다. 외적 연산을 통해 얻은 (M+N)×(M+N) 교차 중요도 행렬을 모든 트랜스포머 레이어의 어텐션 스코어에 바이어스로 삽입함으로써, 어텐션 단계에서 불필요한 신호는 자연스럽게 억제된다. 학습 초기에 모든 값을 1로 초기화해 그래디언트 흐름을 보장하고, 후반부에는 임계값 r_thres를 적용해 행렬을 희소화한다. 이 구조적 프루닝은 실제 하드웨어에서 메모리와 연산량을 크게 감소시킨다.

실험에서는 공개 시계열 벤치마크와 폭스바겐 자동차 데이터(17,500km 주행, 18 B 샘플)를 사용해 43,500 GPU‑H100 시간(≈ 5 년 GPU 연산) 규모의 학습을 수행했다. 결과는 기존 개별 모델 대비 평균 415배 빠른 추론 속도와 951배 적은 메모리 사용을 보였으며, MAE·RMSE 등 정량적 지표에서는 동등하거나 일부 센서에서 3‑5% 향상을 기록했다. 특히 센서 수가 수백 개로 늘어나도 파라미터 수는 거의 변하지 않아, 대규모 센서 네트워크에 실시간 배치가 가능함을 입증했다.

이 모델은 (1) 전문가 의존성을 없애는 자동 입력 선택, (2) 다중 가상 센서 간 시너지 효과 활용, (3) 경량화된 파운데이션 모델 구현이라는 세 축을 동시에 만족한다는 점에서, 향후 스마트 팩토리, 자율주행, 헬스케어 등 다양한 분야에 적용될 잠재력이 크다.