제한된 라벨로 베이커리 제품 자동 검출하기

초록

본 논문은 독일 베이커리 현장에서 남은 빵류를 자동으로 계수·분류하기 위해, 이미지 수준 라벨만으로 객체 검출 모델을 학습하는 두 가지 워크플로우를 제안한다. 오픈‑보캘러리 검출기(OWLv2, Grounding DINO)를 활용한 약한 지도 방식과, Segment Anything 2를 이용한 비디오 프레임의 의사 라벨 전파를 결합해 YOLOv11을 훈련한다. 이미지‑레벨 라벨만 사용해도 mAP 0.91을 달성했으며, 의사 라벨 파인튜닝으로 비이상적 배포 환경에서 19.3% 성능 향상을 얻었다. 최종 모델은 완전 지도 기반 베이스라인을 능가한다.

상세 분석

이 연구는 산업 현장, 특히 독일 베이커리와 같이 제품 종류가 다양하고 라벨링 비용이 높은 도메인에서 제한된 감독 데이터만으로 고성능 객체 검출기를 구축하는 방법론을 제시한다. 첫 번째 워크플로우는 OWLv2와 Grounding DINO 같은 오픈‑보캘러리 검출기를 ‘baked good’이라는 일반 텍스트 프롬프트로 활용해 이미지‑레벨 라벨이 있는 단일 클래스 이미지(C train)에서 자동으로 바운딩 박스를 생성한다. 여기서 과다 검출을 억제하기 위해 배경 필터, 중복 필터, 군집 필터, 중첩 필터 등 네 단계의 후처리를 적용했으며, 이는 실제 실험에서 잡음이 많은 제로샷 예측을 실용적인 라벨로 전환하는 데 핵심 역할을 한다. 두 번째 워크플로우는 비디오 데이터를 이용해 시점 변화에 대한 강인성을 높인다. 비디오 프레임을 SAM 2로 전파해 의사 라벨을 생성하고, 이를 YOLOv11에 파인튜닝함으로써 초기 위쪽‑다운 시점에서 기울어진 시점까지의 검출 성능을 크게 향상시켰다. 데이터 측면에서 논문은 19개의 베이커리 제품 클래스를 포함하는 D (train/test), C (train), V (train/test) 세 가지 스플릿을 구축했으며, 전체 라벨링 비용을 96% 이상 절감했다. 실험 결과, 이미지‑레벨 라벨만으로 훈련한 모델이 mAP 0.91을 기록했으며, 비디오 기반 의사 라벨 파인튜닝을 추가하면 비이상적 배포 환경(조명·시점 변동)에서 19.3%의 상대적 성능 향상을 보였다. 최종적으로 제한된 감독만 사용한 모델이 완전 감독 기반 베이스라인을 능가했으며, 이는 라벨링 비용을 크게 낮추면서도 실무 적용 가능성을 입증한다. 연구는 오픈‑보캘러리 모델을 직접 학습에 활용하기보다는 라벨 생성 도구로 활용하고, SAM 2와 같은 최신 세그멘테이션 모델을 의사 라벨 전파에 결합하는 전략이 산업 현장에 적합함을 보여준다. 또한, YOLOv11의 경량·고속 특성이 모바일 iOS 앱에 직접 탑재될 수 있어 현장 실시간 검출이 가능하도록 설계된 점도 주목할 만하다.