EPSILON 통계 서명을 활용한 근사 딥 뉴럴 네트워크 적응형 결함 완화

초록

본 논문은 근사 연산을 적용한 딥 뉴럴 네트워크 가속기(AxDNN)에서 영구 결함을 실시간으로 탐지하고 완화하기 위한 경량 프레임워크 EPSILON을 제안한다. 다중 출구(MENN) 구조와 사전 계산된 레이어별 통계 서명을 결합해 비파라메트릭 패턴 매칭을 수행함으로써 상수 시간 내에 결함을 감지하고, 레이어 중요도에 기반한 가중치 보정으로 정확도를 유지한다. 실험 결과, 50 % 결함률에서도 평균 80.05 % 정확도를 유지하면서 추론 시간 22 %·에너지 28 % 향상을 달성하였다.

상세 분석

EPSILON은 근사 딥 뉴럴 네트워크(AxDNN)의 특성을 고려한 JIT(Just‑In‑Time) 결함 탐지·완화 메커니즘을 설계했다. 핵심 아이디어는 두 단계로 구성된다. 첫 번째 단계에서는 다중 출구(MENNs) 구조에서 각 출구의 예측 신뢰도(confidence)를 확인하고, 사전에 정의된 임계값 γ를 초과하면 즉시 결과를 반환한다. 이는 정상 동작 시 추가 연산을 최소화해 에너지 효율을 유지한다. 두 번째 단계는 모든 출구가 낮은 신뢰도를 보일 때 활성화되며, 레이어별 통계 서명 Sₗ = {µₗ, σₗ, Qₗ, ρₗ}와 중요도 계수 αₗ을 이용해 비파라메트릭 패턴 매칭을 수행한다. 여기서 µₗ와 σₗ는 가중치 평균·표준편차, Qₗ는 사분위수, ρₗ는 희소성 패턴을 의미한다. αₗ은 위치 중요도 βₚ와 구조적 중요도 γₛ의 곱으로 정의돼, 초기 레이어일수록(βₚ가 높음) 그리고 연결도가 높은 레이어일수록(γₛ가 높음) 더 엄격한 임계값 Tₗ = (m + αₗ)·σₗ을 적용한다. 패턴 점수는 현재 가중치 희소성 ρ_curr와 기준 ρₗ의 L1 차이로 계산되며, Tₗ을 초과하면 해당 레이어에 결함이 있다고 판단한다. 결함이 감지된 레이어에서는 각 가중치를 µₗ와 비교해 편차가 Tₗ을 초과하면 사분위수 Qₗ를 이용해 가장 가까운 정상 가중치 값으로 대체한다. 이렇게 수정된 모델은 동일 입력에 대해 재추론을 수행해 최종 예측을 산출한다.

이 접근법의 장점은 (1) 별도의 테스트 패턴이나 재학습 없이 사전 수집된 통계만으로 결함을 탐지한다는 점, (2) 레이어 중요도를 반영해 과도한 보정으로 인한 성능 저하를 방지한다는 점, (3) 다중 출구 구조를 활용해 결함이 없는 경우 조기 종료로 연산 비용을 크게 절감한다는 점이다. 또한 비파라메트릭 매칭은 근사 연산 특유의 비선형 오차와 실제 결함을 구분하는 데 유리하며, 상수 시간 탐지 메커니즘은 실시간 시스템에 적합하다.

실험에서는 다양한 근사 곱셈기(예: ApproxAdder, ApproxMul), 여러 AxDNN 아키텍처(ResNet‑18, MobileNet‑V2 등)와 네 가지 데이터셋(MNIST, CIFAR‑10/100, ImageNet‑1k)을 대상으로 결함 비율 10 %–50 %를 적용했다. 결과는 EPSILON이 50 % 결함 상황에서도 평균 80.05 % 정확도를 유지했으며, 기존 방법 대비 추론 지연을 22 % 줄이고 에너지 소비를 28 % 절감함을 보여준다. 특히, 레이어 중요도 기반 임계값 조정이 없을 경우 정확도 손실이 12 % 이상 증가하는 등, αₗ 활용의 효과가 입증되었다.

전반적으로 EPSILON은 근사 컴퓨팅 환경에서 결함 탐지를 위한 경량화·실시간화 솔루션을 제공하며, 안전‑중요 애플리케이션(자율주행, 의료 모니터링 등)에서 에너지 효율과 신뢰성을 동시에 만족시키는 실용적 접근법으로 평가된다.