산업 현장 검사 안전 평가를 위한 다중모달 벤치마크 InspecSafe‑V1

초록

InspecSafe‑V1은 실제 검사 로봇이 수집한 5개 산업 현장의 5 013개 검사 인스턴스를 포함하는 최초의 다중모달 안전 평가 데이터셋이다. RGB·열영상·깊이·라이다·레이더·음성·가스·온·습도 등 7가지 센서 데이터를 동기화하여 픽셀‑레벨 객체 분할, 언어 기반 장면 설명, 안전 레벨 라벨을 제공한다. 데이터는 이동형·레일형 로봇 41대가 2 239개 검사 지점에서 수집했으며, 조명 변화·오염·가스 누출 등 실제 현장 교란을 포함한다. 논문은 데이터셋 설계, 수집 파이프라인, 어노테이션 체계 및 기존 멀티모달 데이터셋과의 차별점을 상세히 기술한다.

상세 분석

InspecSafe‑V1은 산업 현장 로봇 검사의 실용적 요구를 반영한 데이터셋 설계가 가장 큰 강점이다. 첫째, 데이터 수집이 실제 운용 로봇(휠형·레일형)에서 이루어졌으며, 이는 기존 연구에서 흔히 볼 수 있는 실험실 혹은 정적 라인 기반 데이터와 달리 현장의 복잡한 조명, 먼지, 연기, 스펙트럼 반사 등 다양한 교란을 자연스럽게 포함한다. 이러한 교란은 모델이 배포 단계에서 겪는 도메인 시프트를 최소화하고, 견고한 일반화 능력을 평가할 수 있게 한다.

둘째, 7가지 센서 모달리티를 동기화하고 좌표 변환을 통해 정밀하게 정렬한 점은 멀티모달 융합 연구에 필수적인 기반을 제공한다. 특히 라이다와 레이더를 동시에 제공함으로써 시야 차단·저조도 상황에서도 구조물과 움직이는 객체를 보완적으로 감지할 수 있다. 가스·온·습도 센서는 안전 위험 요소(가스 누출·과열·습도 변화)를 직접 측정하므로, 단순 객체 인식을 넘어 위험 상황 예측에 직접 활용 가능하다.

셋째, 픽셀‑레벨 객체 세분화와 함께 언어 기반 장면 설명 및 안전 레벨 라벨을 제공한다는 점은 ‘시각‑언어‑센서’ 삼중 결합 모델을 학습시키는 데 유리하다. 예를 들어 “메탈 파이프에 연기가 발생하고 온도가 급상승했다”와 같은 텍스트는 멀티모달 트랜스포머가 시각·열·가스 데이터를 연관 지어 위험을 조기에 탐지하도록 지도한다.

넷째, 데이터 규모와 다양성도 주목할 만하다. 5 013개의 인스턴스는 234개의 산업 객체 클래스를 포괄하며, 각 인스턴스는 10~15초 길이의 RGB·열영상 비디오와 3초 동안의 포인트 클라우드, 연속적인 음성·환경 데이터가 포함된다. 이는 기존 산업 결함 데이터셋이 주로 정적 이미지와 결함 라벨에 국한된 것과 달리, 시간적 연속성 및 다중 센서 융합을 실험할 수 있는 풍부한 샘플을 제공한다.

다섯째, 논문은 기존 멀티모달 데이터셋(예: KITTI, nuScenes, MVTec AD 등)과의 비교 표를 통해 차별성을 명확히 제시한다. 대부분의 기존 데이터는 도로·실내·제조 라인에 초점을 맞추고 RGB·LiDAR·Radar 정도만 제공하지만, InspecSafe‑V1은 산업 현장 특유의 안전 시나리오(가스 누출·화재·무단 진입 등)를 포함하고, 언어 라벨과 안전 등급을 동시에 제공한다는 점에서 새로운 평가 기준을 만든다.

마지막으로, 데이터 포맷과 어노테이션 가이드라인이 공개되어 있어 연구 재현성과 확장성이 높다. 시간 동기화와 좌표 변환을 위한 메타데이터가 포함돼 있어, 다양한 딥러닝 프레임워크에 손쉽게 적용할 수 있다. 이러한 설계는 향후 대규모 멀티모달 산업 모델(예: 멀티모달 트랜스포머, 그래프 기반 센서 융합) 개발과 안전 인증 프로토콜 구축에 핵심 인프라가 될 것으로 기대된다.