동적 3D CNN 프루닝 DANCE: 프레임·채널·특징 동시 적응으로 에너지 효율 극대화

본 논문은 영상·동작 인식 등 3차원 데이터 처리를 위한 3D CNN이 에너지 제한이 있는 엣지 디바이스에서 실시간으로 동작하기 어려운 문제를 해결하고자, 입력에 따라 동적으로 연산량을 조절하는 DANCE 프레임워크를 제안한다. DANCE는 두 단계로 구성된다. 첫 단계인 Activation Variability Amplification(AVA)에서는 기존 3D CNN을 재학습시켜 프레임, 채널, 피처 차원 전반에 걸친 활성값의 분산을 인위적으로 확대한다. 이를 위해 프레임 어텐션, 채널 어텐션, 피처 어텐션이라는 세 개의 계층적 어텐션 모듈을 도입하고, 각각의 가중치 w_FR, w_CH, w_FE를 학습한다. 각 모듈은 해당 차원의 평균 절대 활성값을 계산하고, 그 분산(σ²_FR, σ²_CH, σ²_FE)을 손실 함수에 포함시켜 최대화한다. 분산을 크게 하면 활성값의 크기 차이가 뚜렷해져 이후 프루닝 시 낮은 magnitude를 가진 요소들을 자연스럽게 식별할 수 있다. 손실 함수는 L_f = L_CE – β·σ²_f 형태로, 교차 엔트로피 손실과 변동성 증폭을 동시에 최적화한다. 두 번째 단계인 Adaptive Activation Pruning(AAP)에서는 AVA를 거친 모델의 첫 번째 3D 컨볼루션 레이어 출력을 입력으로 하는 경량 컨트롤러 네트워크를 학습한다. 컨트롤러는 3D 평균 풀링을 통해 얻은 통계량을 기반으로 프레임, 채널, 피처 각각에 대한 임계값 θ_F, θ_C, θ_E를 예측한다. 예측된 임계값보다 활성값이 작으면 해당 프레임, 채널, 피처를 마스크하고, 이후 레이어의 3D 컨볼루션 연산에서 완전히 제외한다. 이렇게 하면 연산 그래프가 입력마다 다르게 형성되어 불필요한 MAC 연산과 메모리 접근을 크게 줄일 수 있다. AAP 학습 단계에서는 원본 3D CNN의 가중치를 고정하고, 컨트롤러 파라미터만 업데이트한다는 점에서 기존 동적 프루닝 방식보다 구현이 간단하고 안정적이다. 실험은 두 가지 대표적인 엣지 플랫폼, NVIDIA Jetson Nano GPU와 Qualcomm Snapdragon 8 Gen 1 모바일 CPU에서 수행되었다. 각 플랫폼에 맞춤형 Neon SIMD 커널을 구현해 프루닝된 텐서 연산을 효율적으로 처리하였다. 결과는 평균 MAC 연산 감소율이 45 % 이상, 메모리 대역폭 절감, 그리고 Jetson Nano에서 1.37×, Snapdragon 8 Gen 1에서 2.22×의 실행 시간 단축을 보였다. 에너지 효율은 기존 정적 프루닝 및 최신 동적 프루닝 기법 대비 최대 1.47× 향상되었다. 또한, 다양한 벤치마크(예: Kinetics‑400, UCF‑101)에서 정확도 저하가 거의 없으며, 경우에 따라 AVA가 모델의 일반화 능력을 약간 향상시키는 효과도 관찰되었다. Ablation Study에서는 AVA 없이 AAP만 적용했을 때보다 변동성 증폭이 프루닝 정확도와 효율성을 크게 높인다는 것을 확인하였다. 관련 연구와 비교했을 때, DANCE는 2D CNN에 국한된 동적 채널·레이어 스킵 방식이 아니라, 3D CNN의 시간·공간·채널 차원을 동시에 다루는 최초의 정밀 프루닝 기법이다. 또한, 프루닝 결정에 복잡한 강화학습이나 비싼 정책 네트워크를 사용하지 않고, 첫 레이어 통계만으로 경량 컨트롤러를 학습한다는 점에서 연산 오버헤드가 최소화된다. 한계점으로는 첫 레이어 통계에만 의존하는 컨트롤러가 복잡한 입력 변동성을 완전히 포착하지 못할 가능성이 있으며, 프레임 간 연속성을 보장하지 않아 급격한 프루닝 변동이 발생할 수 있다. 또한, 현재 실험은 주로 영상 인식 태스크에 국한되어 있어 포인트 클라우드·의료 영상 등 다른 3D 데이터 도메인에 대한 일반화 검증이 필요하다. 향후 연구에서는 다단계 컨트롤러, 프루닝 스무딩, 그리고 다양한 3D CNN 아키텍처에 대한 적용을 확대할 계획이다.