멀티테넌트 DNN 추론 예측성 향상을 위한 동적 프레임·ROI 선택

초록

본 논문은 자율주행 차량의 인식 파이프라인에서 실시간성을 확보하기 위해, 전체 영상이 아니라 환경에 따라 동적으로 선택된 ‘핵심 프레임’과 ‘관심 영역(ROI)’만을 처리하는 PP‑DNN 시스템을 제안한다. ROI 생성기, FLOPs 예측기, 스케줄러, 비핵심 프레임용 검출 예측기로 구성된 이 프레임워크는 멀티테넌트 DNN 간의 연산량을 크게 줄이고, Fusion 지연과 변동성을 현저히 감소시키면서 정확도는 유지한다. BDD100K와 nuScenes 데이터셋 실험에서 Fusion 프레임 수 7.3배 증가, 지연 2.6배 감소, 검출 완전성 75 % 향상 등 뛰어난 성능을 입증한다.

상세 분석

PP‑DNN은 자율주행 차량이 매 초당 30프레임 이상의 영상을 받아들이는 상황에서도 모든 프레임을 전부 처리할 필요가 없다는 ‘시간적 지역성(temporal locality)’을 핵심 아이디어로 삼는다. 기존 연구들은 주로 모델 압축(프루닝, 양자화)이나 연산 가속에 초점을 맞추었지만, 이들은 정확도 손실이나 하드웨어 의존성을 동반한다. 반면 PP‑DNN은 입력 데이터 자체를 줄이는 접근법으로, (1) 핵심 프레임 선정 – 연속 프레임 간 구조적 유사도(SSIM)와 차량 속도, 교통 상황 등을 종합해 급격한 변화가 감지되는 순간을 ‘핵심’으로 정의한다. (2) 다중 ROI 생성 – 단일 큰 ROI 대신, 차량 앞, 좌측 차량, 보행자 교차로 등 의미 있는 객체군을 각각 작은 ROI로 분할함으로써 입력 이미지 면적을 평균 30 % 이하로 감소시킨다. (3) FLOPs 예측기 – ROI 크기에 따라 MAC 연산량이 비선형적으로 변하는 현상을 모델링하여, 각 DNN에 할당될 연산량을 사전에 예측한다. 이는 특히 Faster‑RCNN과 같은 2단계 검출기에서 작은 입력이 오히려 큰 MAC을 유발하는 현상을 회피하도록 설계되었다. (4) ROI 스케줄러 – 멀티테넌트 환경에서 각 DNN이 서로 다른 입력 크기로 실행될 때 발생하는 ‘fusion 지연’과 ‘프레임 낙후’를 최소화한다. 스케줄러는 현재 GPU 사용량, 예상 MAC, 프레임 타임스탬프 등을 고려해 일부 DNN에 자원을 양보하거나 프레임 스킵을 지시한다. (5) 비핵심 프레임 검출 예측기 – 트래킹 정보와 과거 검출 결과를 이용해 비핵심 프레임에서도 객체 위치와 속도를 추정한다. 이는 Fusion 단계에서 누락된 정보를 보완해 전체 인식 정확도를 유지한다. 실험 결과, PP‑DNN은 BDD100K와 nuScenes에서 Fusion 프레임 수를 최대 7.3배 늘리고, 평균 Fusion 지연을 2.6배 단축했으며, 지연 변동성도 2.3배 감소시켰다. 또한 검출 완전성(Detection Completeness)은 75 % 향상됐으며, 전체 시스템 비용 효율성은 98 % 개선되었다. 이러한 성과는 동적 ROI 기반 입력 감소와 멀티테넌트 DNN 스케줄링이 실시간 자율주행 인식 파이프라인의 예측성을 크게 높일 수 있음을 입증한다.