곱셈 회피 신경망: Hadamard 변환과 인메모리 컴퓨팅의 만남

초록

에너지 제약이 큰 에지 디바이스를 위한 효율적인 딥러닝 배포를 위해, 본 연구는 Hadamard 변환(HT)과 곱셈 회피(Multiplication-Avoiding, MA) SRAM 기반 인메모리 컴퓨팅을 결합한 HTMA-Net 프레임워크를 제안한다. 이 방법은 ResNet 기반 모델에서 기준 대비 최대 52%의 곱셈 연산을 제거하면서도 CIFAR-10, CIFAR-100, Tiny ImageNet 데이터셋에서 유사한 정확도를 유지한다.

상세 분석

HTMA-Net의 핵심 기술적 통합은 두 가지 효율화 패러다임의 시너지에 있다. 첫째, 월시-하다마드 변환(WHT)은 직교 선형 변환으로, 기존 컨볼루션의 공간적 연산을 주파수 영역의 원소별 곱셈으로 변환한다. 이 변환 자체가 덧셈과 뺄셈만으로 구성되어 고정된 하드웨어 친화적 구조를 가지며, O(N log N)의 낮은 복잡도를 가진다. 논문에서는 이 변환을 단순한 필터가 아닌, 학습 가능한 스펙트럼 게이트(V_i)와 채널 혼합(1x1 컨볼루션)을 포함하는 ‘학습 가능한 스펙트럼 컨볼루션’ 레이어로 발전시켰다.

둘째, MF-Net에서 차용한 곱셈 회피 연산자는 내적 연산 w·x를 sign(x)|w| + sign(w)|x|로 대체한다. 이는 두 번의 부호 있는 덧셈과 간단한 부호 처리만으로 하드웨어 곱셈기를 완전히 회피하며, SRAM 인메모리 컴퓨팅 배열에서 비트라인 전하 덧셈으로 효율적으로 매핑될 수 있다.

HTMA-Net의 핵심 혁신은 WHT 레이어 내부의 ‘채널 혼합’ 프로젝션(1x1 컨볼루션)에 이 곱셈 회피 연산자를 적용한 점이다. 이는 변환 영역에서도 곱셈을 제거하는 이중 효율화 전략이다. 실험 결과가 보여주는 중요한 인사이트는, MF-Only 접근법이 곱셈은 98% 이상 제거하지만 정확도가 급격히 하락하는 반면, HT-Only는 약 48%의 곱셈만 제거한다는 점이다. HTMA는 이 둘을 결합해 약 54%의 곱셈을 제거하면서도 HT-Only와 유사하거나 나은 정확도를 유지함으로써, 정확도와 효율성의 최적 균형점을 찾았다. 이는 구조적 변환이 네트워크의 표현력을 유지시켜 주기 때문에, 극단적인 연산 회피 기법의 정확도 하락을 보완할 수 있음을 시사한다. 또한, ‘Middle-only’ 통합 전략이 가장 좋은 성능을 보인 것은, 낮은 수준의 특징(에지, 텍스처)을 추출하는 초기 레이어는 일반 컨볼루션을 유지하고, 고수준의 의미론적 특징을 혼합하는 중간 레이어를 효율화하는 것이 전체 네트워크 안정성에 유리함을 나타낸다.