엣지 AI를 위한 초소형 딥러닝, AttoNet 인간‑기계 협업 설계

초록

AttoNet은 인간이 제시한 매크로 아키텍처와 설계 요구사항을 바탕으로, 기계가 자동으로 모듈 수준의 매크로·마이크로 구조를 탐색·생성한 초경량 딥러닝 모델군이다. ImageNet 객체 인식에서 MobileNet‑V1 대비 10배 적은 연산량·파라미터로 1.8% 높은 Top‑1 정확도를 달성했으며, Mask R‑CNN에 적용했을 때 ResNet‑50 대비 연산량 5배·파라미터 2배 절감 효과를 보였다.

상세 분석

본 논문은 딥러닝 모델을 엣지 디바이스에 적용하기 위한 두 가지 전통적 접근법, 즉 인간이 직접 설계하는 휴먼‑드리븐 방식과 완전 자동화된 뉴럴 아키텍처 서치(NAS) 사이의 중간 지점을 제시한다. 핵심 아이디어는 ‘인간‑기계 협업 설계(Human‑Machine Collaborative Design)’로, 설계자는 고수준 매크로 아키텍처(모듈 수, 깊이, 잔차 연결 등)를 정의하고, 목표 정확도·연산량·파라미터 수와 같은 제약을 명시한다. 이후 기계는 ‘Generative Synthesis’라는 제약 최적화 프레임워크를 이용해 수천 개의 후보 모듈을 생성하고, 성능 함수 U(정확도, 연산량, 파라미터 수의 가중합)를 최대화하면서 제약 조건을 만족하는 네트워크를 점진적으로 진화시킨다.

이 과정에서 두드러진 기술적 기여는 다음과 같다. 첫째, 인간이 설계한 16개의 모듈 기반 매크로 구조를 그대로 유지하면서, 각 모듈 내부의 레이어 구성, 채널 수, 확장 비율 등을 자동 탐색함으로써 전통적인 ‘핸드‑크래프트’ 설계의 장점(전반적인 구조 이해와 제어)과 NAS의 장점(미세 설계 탐색)을 결합하였다. 둘째, 성능 함수의 가중치 α=2, β=γ=0 설정을 통해 정확도에 강하게 편향된 최적화를 수행했으며, 이는 엣지 환경에서 최소 65% 이상의 Top‑1 정확도를 보장하도록 설계된 제약 함수 1_r(·)와 연계된다. 셋째, 생성된 AttoNet 시리즈는 모듈별로 서로 다른 ‘bottleneck’ 형태(1×1‑conv → 3×3‑depthwise → 1×1‑conv 등)를 적용해 연산 효율을 극대화하면서도, 전체 네트워크 깊이를 충분히 확보해 표현력을 유지한다.

실험 결과는 설계 방법론의 타당성을 강력히 뒷받침한다. ImageNet에서 가장 작은 AttoNet‑A는 MobileNet‑V1 대비 약 10배 적은 MACs와 파라미터 수를 가지고도 Top‑1 정확도에서 1.8%p 상승했다. 또한, AttoNet 기반 Mask R‑CNN은 ResNet‑50 기반 대비 연산량을 5배, 파라미터를 2배 절감했음에도 불구하고 객체 검출·분할 성능에서 큰 손실이 없었다. 이는 모듈 수준 설계가 고수준 매크로 구조와 잘 맞물려, 전반적인 효율성을 크게 향상시켰음을 의미한다.

마지막으로, 본 연구는 인간이 제공하는 설계 직관과 기계가 수행하는 대규모 탐색을 결합함으로써, 기존 NAS가 직면한 ‘검색 비용·시간’ 문제와 휴먼 설계의 ‘주관적 한계’를 동시에 극복할 수 있음을 보여준다. 향후 다른 비전·음성 작업이나 하드웨어 특화(예: FPGA, ASIC) 설계에도 동일한 협업 프레임워크를 적용할 여지가 크다.