건설 장비 활동 인식 자동화를 위한 데이터 융합 접근법

초록

본 연구는 건설 현장의 장비 활동을 정확히 파악하기 위해 음향 데이터와 기계학적(키네마틱) 데이터를 동시에 수집·전처리하고, 시간·주파수 영역 특징을 추출한 뒤 특징 융합을 수행한다. 융합된 특징을 기반으로 머신러닝 분류기를 학습시켜 활동을 인식했으며, 단일 데이터 소스만 사용할 때보다 최대 25 % 높은 정확도를 달성하였다.

상세 분석

이 논문은 건설 현장의 복합적인 작업 환경을 고려했을 때, 단일 센서(음성 혹은 영상, 혹은 가속도계 등)만으로는 모든 상황을 포괄적으로 인식하기 어렵다는 점을 명확히 지적한다. 따라서 저자는 두 가지 상보적인 데이터 스트림, 즉 현장 장비에서 발생하는 음향 신호와 기계의 움직임을 나타내는 키네마틱 데이터를 동시에 수집하는 데이터 융합 프레임워크를 제안한다.

첫 번째 단계는 현장 장비에 마이크와 IMU(관성 측정 장치)를 부착해 실시간으로 음성 및 가속·각속도 데이터를 기록하는 것이다. 여기서 중요한 점은 센서 동기화와 노이즈 억제를 위한 전처리 과정이다. 음향 신호는 대역통과 필터링과 윈도우링을 통해 잡음을 제거하고, 키네마틱 데이터는 저역통과 필터와 드리프트 보정을 거쳐 신뢰성을 높인다.

두 번째 단계에서는 각각의 데이터에 대해 시간 영역 특징(예: RMS, 제로 크로싱 비율, 평균 가속도)과 주파수 영역 특징(예: 멜 주파수 켑스트럼 계수(MFCC), 파워 스펙트럼 밀도) 등을 추출한다. 이러한 특징들은 서로 다른 물리적 현상을 반영하므로, 단일 특징 집합보다 풍부한 정보를 제공한다.

세 번째 단계는 특징 융합이다. 저자는 단순히 특징 벡터를 연결(concatenation)하는 레벨-1(feature‑level) 융합 방식을 채택했으며, 차원 축소를 위해 주성분 분석(PCA)이나 선형 판별 분석(LDA)을 적용해 과적합을 방지한다.

마지막 단계에서는 다양한 머신러닝 알고리즘—예를 들어 서포트 벡터 머신(SVM), 랜덤 포레스트(RF), 그리고 심층 신경망(DNN)—을 비교 평가하였다. 실험 결과, 융합된 특징을 사용한 경우 평균 정확도가 85 %에서 90 % 사이로, 동일 조건에서 음향 단일 혹은 키네마틱 단일 데이터를 사용했을 때보다 최대 25 % 향상되었다. 특히 복잡한 작업(예: 굴착·이송·정지)의 전이 구간에서 융합 모델이 더 강인한 성능을 보였다.

이 연구의 강점은 실제 현장에서 여러 종류의 장비(굴착기, 로더, 크레인 등)에 적용 가능하도록 시스템을 모듈화했다는 점이다. 또한, 데이터 융합이 센서 결함이나 환경 잡음에 대한 내성을 높여, 현장 운영 관리와 비용 추정에 실시간으로 활용될 수 있는 기반을 제공한다. 그러나 제한점으로는 센서 부착 비용, 데이터 동기화 정확도, 그리고 라벨링된 학습 데이터 확보의 어려움이 남아 있다. 향후 연구에서는 보다 정교한 딥러닝 기반 멀티모달 융합 모델과, 클라우드 기반 실시간 스트리밍 분석 파이프라인을 도입해 현장 적용성을 높이는 방안을 모색할 필요가 있다.