합성 부정 데이터로 강화한 로봇 주행 가능성 학습

초록

SyNeT는 확산 모델을 이용해 실제 장면에 일관된 합성 부정 객체를 삽입하고, 이를 PU와 PN 두 종류의 자가‑감독 학습 프레임워크에 통합한다. 합성 부정은 명시적인 비주행 영역으로 활용되어 모델이 비주행 영역을 더 정확히 구분하도록 돕고, 삽입된 부정 객체에 대한 객체‑중심 FPR 평가를 통해 라벨링 비용 없이 비주행 인식 성능을 정량화한다. 실험 결과, 다양한 공개·자체 데이터셋에서 기존 방법 대비 false‑positive가 크게 감소하고 전반적인 일반화 능력이 향상됨을 보였다.

상세 분석

SyNeT는 기존 자가‑감독 주행 가능성 추정이 양성(실제 주행)과 라벨이 없는 영역만을 활용해 비주행 영역을 명시적으로 학습하지 못한다는 근본적인 한계를 해결한다. 이를 위해 저자는 두 단계로 구성된 합성 부정 생성 파이프라인을 설계하였다. 첫 번째 단계에서는 이미지 내에서 무작위 ROI와 목표 객체 크기를 샘플링하고, 두 번째 단계에서는 Stable Diffusion 3.5와 FLUX.1 Fill을 이용해 해당 ROI에 의미론적으로 일관된 객체를 생성한다. 생성된 객체는 LangSAM을 통해 정확히 분할하고, 객체 수·픽셀 면적 등 사전 정의된 필터를 적용해 품질을 검증한다. 최종적으로 알파‑블렌딩 기법으로 원본 이미지에 합성 객체를 삽입하고, 동시에 픽셀‑단위 마스크를 저장한다. 이 과정은 장면‑수준 일관성을 중시하여, 객체의 정밀한 기하학적 디테일보다는 주변 환경과의 시각적 조화를 우선한다는 점이 특징이다.

생성된 합성 부정은 PU(Positive‑Unlabeled)와 PN(Positive‑Negative) 학습에 모두 삽입될 수 있다. PU 기반 LOR‑T에서는 기존의 양성 중심과 비라벨 프로토타입에 추가로 ‘부정 중심’(negative centers)을 도입하고, 합성 부정 특징 e_N과 라벨이 없는 특징 U를 부정 중심에 소프트 할당한다. 이를 위해 코사인 유사도 기반의 소프트맥스 책임(assignments)과 Sinkhorn 정규화를 결합한 부정‑센터 손실 L_neg을 정의하고, 양성·부정 중심 간 붕괴를 방지하기 위해 repulsion 손실 L_rep을 추가한다. 최종 목표는 L_OR_T + λ_neg L_neg + λ_rep L_rep 형태의 복합 손실을 최소화함으로써, 양성·부정 특징이 명확히 구분된 임베딩 공간을 형성하는 것이다.

PN 기반 V‑STRONG에서는 기존 대비 contrastive loss L_contra에 합성 부정 특징을 포함시켜, 양성·부정 쌍 간 마진을 명시적으로 확대한다. 여기서도 부정 마스크를 이용해 정확한 픽셀‑레벨 supervision을 제공함으로써, 기존의 간접적인 부정 추정(예: 라벨이 없는 영역을 비주행으로 가정)보다 더 강건한 경계 학습이 가능해진다.

또한 저자는 합성 부정 삽입 영역에 대한 객체‑중심 False Positive Rate(FPR) 평가 방식을 제안한다. 기존 픽셀‑단위 IoU나 정확도는 전체 이미지에 대한 평균적인 성능만을 반영하지만, FPR은 인위적으로 삽입된 비주행 객체를 모델이 얼마나 정확히 ‘비주행’으로 예측했는지를 직접 측정한다. 이는 추가 라벨링 없이도 모델의 비주행 인식 능력을 정량화할 수 있는 실용적인 메트릭이다.

실험에서는 공개된 오프로드·도시·소셜 로봇 데이터셋과 저자 자체 수집 데이터(수동 라벨 포함)를 사용해, SyNeT를 적용한 LOR‑T와 V‑STRONG이 각각 기존 베이스라인 대비 FPR이 30% 이상 감소하고, 전체 픽셀‑단위 정확도와 IoU도 소폭 상승함을 보고한다. 특히 복잡한 장애물(돌, 나무, 사람)이나 조명 변화가 큰 환경에서 합성 부정이 제공하는 다양한 비주행 패턴이 모델의 일반화 능력을 크게 향상시킨다.

요약하면, SyNeT는 (1) 확산 모델 기반의 고품질 합성 부정 생성, (2) PU·PN 양쪽 프레임워크에 손쉽게 통합 가능한 학습 목표 설계, (3) 라벨링 비용을 최소화한 객체‑중심 FPR 평가라는 세 축을 통해, 자가‑감독 주행 가능성 학습의 핵심 약점인 ‘부정 데이터 부족’을 효과적으로 보완한다.