양자화 인식 신경형 피부질환 분류를 위한 경량 뉴로모픽 아키텍처

초록

QANA는 8‑bit 양자화와 스파이킹 호환 변환을 결합한 경량 CNN 백본을 설계해, HAM10000 및 임상 데이터셋에서 91 % 이상의 정확도와 매크로 F1 점수를 달성한다. Ghost 모듈 기반 특징 추출, 공간‑인식 채널 어텐션, 제한된 활성화 범위 등을 통해 변환 손실을 최소화하고, BrainChip Akida에서 1.5 ms·1.7 mJ의 초저지연·초저전력 추론을 구현한다.

상세 분석

본 논문은 피부 병변 이미지 분류를 위한 온‑디바이스 솔루션으로, 기존 CNN‑to‑SNN 변환 과정에서 발생하는 정확도 저하와 연산 비효율성을 근본적으로 해결하고자 한다. 핵심 아이디어는 “양자화 인식(Quantization‑Aware)” 설계와 “스파이킹 호환(Spike‑Compatible)” 변환을 동시에 만족하는 네트워크 아키텍처(QANA)를 구축하는 것이다.

첫 번째로, QANA는 Ghost 블록을 활용해 기본 특징을 저비용 1×1 컨볼루션으로 추출하고, 깊이별(depthwise) 연산으로 추가적인 ‘ghost’ 채널을 생성한다. 이 구조는 FLOP을 크게 절감하면서도 다중 스케일 정보를 유지한다. 두 번째로, 각 스테이지에 Spatially‑Aware Efficient Channel Attention(SA‑ECA)와 Squeeze‑and‑Excitation(SE) 모듈을 삽입해 전역 풀링 없이 채널 간 의존성을 재조정한다. 이는 뉴로모픽 코어에서 구현하기 어려운 전역 연산을 회피하면서도 중요한 특징 강조 효과를 제공한다.

활성화 함수는 ReLU6와 같은 상한이 있는 비선형을 사용해 0~6 범위로 제한한다. 이는 8‑bit 정수 양자화 시 스케일 오버플로우를 방지하고, 스파이킹 변환 단계에서 전압‑스파이크 매핑을 단순화한다. 배치 정규화는 사전 재파라미터화(re‑parameterization)하여 정수 연산 그래프에 포함될 수 있도록 변환한다. 이러한 설계는 변환 후 SNN에서 발생하는 “conversion‑induced distortion”을 크게 감소시켜, 특히 데이터가 불균형한 의료 이미지에서 희귀 클래스의 손실을 최소화한다.

데이터 전처리 단계에서는 Grad‑CAM 기반 자동 크롭, 64×64 해상도 정규화, SMOTE 기반 임베딩 공간 오버샘플링을 적용한다. 특히 SMOTE를 이미지가 아닌 고차원 임베딩에 적용함으로써 시각적 왜곡 없이 클래스 균형을 맞춘다. 합성 임베딩은 화이트닝·역화이트닝 과정을 거쳐 원본 특성 공간에 매핑되며, 최종 분류 헤드(양자화된 프로젝션 레이어)만을 미세조정해 빠른 인크리멘털 학습을 가능하게 한다.

하드웨어 실험에서는 BrainChip Akida에 직접 배포했을 때, 1.5 ms·1.7 mJ라는 지연·에너지 프로파일을 기록했으며, 이는 동일 모델을 RTX 3090 GPU에서 실행했을 때 대비 각각 94.6 %와 99.0 %의 절감 효과를 보였다. 이는 뉴로모픽 프로세서가 제공하는 이벤트‑드리븐 스파이킹 연산과 QANA의 양자화‑스파이킹 친화적 설계가 시너지 효과를 낸 결과라 할 수 있다.

전반적으로 QANA는 (1) 변환 친화적 양자화 설계, (2) 경량 Ghost‑ 기반 특징 추출, (3) 전역 연산을 회피한 채널 어텐션, (4) 임베딩‑레벨 SMOTE를 통한 클래스 균형, (5) 온‑칩 인크리멘털 업데이트 메커니즘이라는 다섯 축을 통해 의료 영상 분야에서 요구되는 고정밀·저전력·빠른 적응성을 모두 만족한다.