마이크로컨트롤러용 초소형 비전 데이터셋

본 연구는 마이크로컨트롤러와 같은 초소형 컴퓨팅 플랫폼에서 실행 가능한 비전 모델을 개발하기 위한 새로운 벤치마크 데이터셋, “Visual Wake Words”(VWW)를 제안한다. 마이크로컨트롤러는 저전력·저비용 IoT 디바이스에 널리 사용되지만, SRAM이 100–320 KB, 플래시가 256 KB–1 MB 수준으로 매우 제한적이다. 따라서 모델 파라미터와 실행 시 필요한 임시 활성값을 포함한 전체 메모리 사용량이 250 KB 이하, 연산량이 60 M MACs 이하인 모델만이 실시간 추론을 보장한다. VWW 데이터셋은 공개 COCO 데이터셋을 기반으로, 이미지에 사람 객체가 존재하면 ‘person’(라벨 1), 없으면 ‘not‑person’(라벨 0)으로 재라벨링한 115 k 장의 학습·검증 이미지로 구성된다. 라벨링 기준은 사람 객체의 바운딩 박스 면적이 전체 이미지 면적의 0.5 % 이상일 경우이다. 이렇게 함으로써 다양한 배경·조명·스케일을 포함한 현실적인 이미지 분포를 유지하면서도, 이진 분류라는 단순한 형태로 마이크로컨트롤러 비전 사용 사례를 직접 반영한다. 논문은 먼저 마이크로컨트롤러 비전 시스템의 하드웨어 제약을 정량화한다. 프로그램 바이너리는 플래시에서 로드되어 SRAM에 적재되며, 실행 중에는 모든 활성값이 SRAM에 저장된다. 따라서 피크 메모리 사용량은 입력·출력 텐서와 중간 활성값의 최대 합으로 정의된다. 잔차 블록이나 병렬 경로를 포함하는 네트워크는 각 경로마다 활성값을 별도 저장해야 하므로 피크 메모리 사용량이 급증한다. 이에 따라 단일 경로 구조를 유지하거나, residual 연결을 최소화한 설계가 메모리 효율에 크게 기여한다. 제안된 제약 하에서 MobileNet‑V1, MobileNet‑V2, MNasNet(비‑SE 버전), ShuffleNet 등 기존 모바일 최적화 모델을 다양한 depth‑multiplier와 입력 해상도로 스케일링하였다. 실험 결과, 250 KB 이하의 모델 크기와 피크 메모리 사용량을 만족하면서도 85 %~90 % 수준의 정확도를 달성할 수 있음을 확인했다. 특히, depth‑multiplier 0.5, 입력 해상도 96×96인 MobileNet‑V2는 86 % 정확도와 55 M MACs, 240 KB 피크 메모리를 기록하였다. 또한, 양자화(8‑bit)와 프루닝을 적용하면 파라미터 저장 공간을 추가로 절감할 수 있지만, 본 논문에서는 구조적 경량화에 초점을 맞추어 메모리 사용량을 직접 제어하였다. 데이터셋이 제공하는 전체 해상도 이미지는 연구자가 원하는 해상도로 자유롭게 리샘플링할 수 있게 하여, 정확도·메모리·연산량 사이의 트레이드오프를 정밀하게 탐색할 수 있다. VWW 데이터셋은 기존 ImageNet(다중 클래스, 대규모 파라미터)이나 CIFAR‑10(저해상도, 10클래스)와 달리, 마이크로컨트롤러 비전의 실제 사용 시나리오를 반영한다. 사람 존재 여부 판단은 스마트 홈, 빌딩 자동화, 차량 주차 감시 등 다양한 IoT 응용에서 “시각적 웨이크 워드” 역할을 수행한다. 따라서 이 데이터셋은 모델 설계자가 메모리·연산 제한 하에서 최적의 정확도를 찾는 데 필요한 실용적인 벤치마크를 제공한다. 마지막으로 논문은 정확도와 메모리 사용량 사이의 Pareto‑optimal 경계를 시각화하여, 특정 메모리 제한 하에서 가능한 최고 정확도를 제시한다. 이는 마이크로컨트롤러 기반 비전 시스템을 설계하려는 연구자와 엔지니어에게 명확한 설계 가이드를 제공한다. 향후 연구에서는 더 다양한 객체 클래스, 멀티태스크(예: 객체 검출·세그멘테이션) 및 에너지 효율 최적화와 결합한 확장이 기대된다.