PMMA: 보행 보조기구 인식·추적을 위한 실외 데이터셋

초록

PMMA는 휠체어·워커·지팡이 등 9가지 보행 보조기구 사용자를 실외 주차장에 촬영한 28 000장 이상의 고해상도 이미지와 상세 라벨을 제공한다. 7개의 최신 객체 검출 모델과 3개의 다중 객체 추적 알고리즘을 MMDetection 기반으로 벤치마크했으며, YOLOX·Deformable DETR·Faster R‑CNN이 가장 높은 mAP을 기록했고 추적 성능은 세 트래커 간 차이가 미미했다. 데이터와 코드가 공개돼 보조기구 이용자 인식 연구에 중요한 기반을 제공한다.

상세 분석

PMMA 데이터셋은 기존 교통·자율주행 데이터베이스가 주로 차량 시점에서 촬영된 저해상도 영상에 머무는 반면, 실외 고정 카메라 시점에서 2208 × 1242 픽셀, 15 fps의 스테레오 영상을 제공한다는 점에서 차별화된다. 특히 보행자 9가지 세부 클래스를 정의했는데, 휠체어 사용자를 ‘자체 사용’, ‘빈 휠체어 밀기’, ‘그룹 밀기(전체·밀는 사람·밀린 사람)’ 등 5개의 하위 클래스로 세분화했다. 이는 동일한 물체(휠체어)와 사람의 상호작용을 구분해야 하는 복합 상황을 모델링하도록 설계된 것으로, 기존 데이터셋이 제공하지 못한 미세한 행동·관계 정보를 학습하게 만든다.

주요 기술적 기여는 다음과 같다. 첫째, 라벨링은 COCO 포맷을 채택해 대부분의 딥러닝 프레임워크와 호환 가능하도록 했으며, 키프레임 100프레임 간 선형 보간 후 수동 교정으로 높은 정확도를 확보했다. 또한 ‘그림자’ 라벨(3)을 추가해 KITTI식 가시성 구분을 확장했다. 둘째, 데이터는 두 개의 카메라 포지션(4 m 높이 폴대)에서 수집돼 시점 변화에 따른 객체 변형을 자연스럽게 포함한다. 셋째, 윤리적 검토를 거쳐 실제 보조기구 사용자가 아닌 대학원생이 보조기구를 착용·조작하도록 함으로써 개인정보·안전 위험을 최소화했지만, 실제 사용자와의 외관·동작 차이가 존재한다는 한계도 명시했다.

벤치마크 실험에서는 Faster R‑CNN(두 단계, ResNet‑50), YOLOX(CSPDarknet), Deformable DETR(Transformer) 등 7개 모델을 COCO 사전학습 가중치로 초기화 후 50에폭(조기 종료) 학습시켰다. 결과는 mAP 기준 YOLOX ≈ 0.55, Deformable DETR ≈ 0.53, Faster R‑CNN ≈ 0.52로 가장 높은 성능을 보였으며, 특히 작은 객체(워커·지팡이 사용자)와 고 occlusion 상황에서 AP₅₀이 크게 떨어지는 경향을 보였다. 이는 휠체어·워커 등 복합 형태가 작은 바운딩 박스로 표현돼 검출 난이도가 높아짐을 의미한다.

추적 측면에서는 ByteTrack, BOT‑SORT, OC‑SORT를 동일 검출 결과에 적용했으며, MOTA·IDF1 지표가 0.71~0.73 수준으로 크게 차이나지 않았다. 이는 현재 검출 성능이 추적 한계보다 더 큰 영향을 미치며, 향후 고정밀 검출기와 장면별 맞춤 트래킹 전략(예: 그룹 행동 모델링)이 필요함을 시사한다.

데이터셋 규모(≈28 k 이미지)와 클래스 불균형(예: 휠체어 그룹·밀는 사람·밀린 사람 각각 수백 장)으로 인해 소수 클래스에 대한 일반화가 제한적이다. 또한 스테레오 영상이지만 좌·우 이미지 중 좌측만 라벨링해 학습에 활용했으며, 깊이 정보 활용은 향후 연구 과제로 남는다.

종합하면 PMMA는 보조기구 사용자를 위한 세밀한 라벨링과 실외 고해상도 영상을 제공함으로써, 기존 객체 검출·추적 연구가 놓쳤던 ‘취약 보행자’ 인식 문제를 실험적으로 조명한다. 데이터와 코드가 공개돼 재현성·확장성이 뛰어나며, 향후 멀티모달(영상+깊이), 행동 예측, 위험도 평가 등 다양한 연구 방향에 활용될 수 있다.