동적 신경망을 활용한 컴퓨터 비전과 멀티모달 센서 융합

초록

본 설문은 입력 복잡도에 따라 연산량을 동적으로 조절하는 동적 신경망(DNN) 기술을 컴퓨터 비전 분야에 집중해 정리하고, 이를 멀티모달 센서 융합에 적용한 최신 연구들을 체계적으로 분류한다. 논문은 ‘출력·연산 그래프·입력’ 세 축으로 동적 요소를 구분하는 taxonomy를 제시하고, 163편의 주요 논문을 정리·비교한다. 또한 동적 네트워크가 센서 융합에서 적응성, 잡음 억제, 정보 우선순위 지정 등에 기여할 수 있음을 강조한다.

상세 분석

이 설문은 동적 신경망(Dynamic Neural Networks, DNN)의 핵심 아이디어를 ‘입력 복잡도에 따라 연산량을 가변적으로 할당한다’는 점에 두고, 기존 정적 압축 기법(프루닝, 양자화 등)이 놓치는 입력별 차이를 보완한다는 관점에서 시작한다. 저자들은 DNN을 크게 세 가지 카테고리로 나눈다. 첫 번째는 Early‑Exits 로, 중간 레이어에 보조 분류기를 두고 confidence 혹은 entropy 기반 기준으로 조기 종료 여부를 판단한다. 여기서는 exit 위치 선정, loss weighting, self‑distillation, OOD 탐지 등 다양한 변형이 존재함을 정리하고, 현재 표준 벤치마크가 부재함을 지적한다. 두 번째는 Dynamic Routing(또는 Mixture‑of‑Experts)으로, 입력에 따라 서로 다른 전문가 모듈을 선택하거나 동적으로 연산 그래프를 재구성한다. 라우팅 정책은 하드 라우팅, 소프트 라우팅, 학습 가능한 gating 등으로 다양하며, 계산 효율성뿐 아니라 모델 용량을 효율적으로 활용한다는 장점이 있다. 세 번째는 Token Skimming, 주로 Vision Transformer(ViT)에서 토큰 수준의 선택·합병을 통해 연산을 줄인다. 토큰 드롭, 토큰 병합, 계층적 토큰 선택 등 여러 전략이 제안됐으며, 특히 대규모 이미지와 비디오 처리에서 메모리와 연산 비용을 크게 감소시킨다.

센서 융합 파트에서는 이러한 동적 메커니즘이 멀티모달 입력(예: RGB, 깊이, 라이다, 레이더 등)을 다룰 때, 각 센서의 신뢰도와 환경 조건에 따라 가변적인 처리 경로를 제공함으로써 전반적인 견고성을 높일 수 있음을 강조한다. 예를 들어, 저조도 상황에서는 라이다 데이터에 더 많은 연산을 할당하고, 날씨가 좋은 경우에는 RGB 이미지에 집중하는 식이다. 또한, 동적 라우팅을 이용해 불필요한 센서 스트림을 일시적으로 차단하거나, 토큰 스키밍을 통해 잡음이 많은 센서 입력을 필터링하는 방법도 소개된다.

저자들은 2016년부터 2025년까지 발표된 163편의 논문을 체계적으로 수집·분류했으며, 각 논문의 핵심 기법, 실험 설정, 공개 코드 여부를 깃허브 레포지토리(awesome‑dynn‑for‑cv)와 연동한다. 이를 통해 연구자들이 빠르게 관련 구현을 찾아볼 수 있게 한다. 마지막으로, 현재 동적 신경망 연구는 아직 벤치마크 부재, 하드웨어 지원 제한, 동적 정책의 안정성(특히 실시간 시스템에서) 등 몇 가지 과제가 남아 있음을 지적하고, 특히 센서 융합 분야에서 더 많은 실험적 검증과 표준화가 필요하다고 제언한다.