극한 메모리 환경을 위한 분해형 초고차원 분류기 DecoHD

초록

DecoHD는 고차원 벡터(HDC) 기반 분류기의 클래스 프로토타입을 공유 채널과 결합·묶음 연산만으로 압축한다. 입력‑출력 차원은 유지하면서 메모리 사용량을 O(C·D)에서 O(L·D)로 감소시키고, 학습은 저차원 잠재 공간에서 엔드‑투‑엔드로 진행한다. 실험 결과, 메모리 30% 이하로 줄여도 정확도 손실은 0.1~0.15% 수준에 머물며, 비트‑플립 노이즈에 대한 강인성도 향상된다. 또한 CPU·GPU·ASIC 대비 에너지·속도 효율이 각각 수백 배, 수십 배, 2배 이상 개선된다.

상세 분석

DecoHD는 기존 HDC가 클래스당 하나의 D‑차원 프로토타입을 저장해 O(C·D) 메모리를 요구하는 한계를 채널 기반 분해 구조로 극복한다. 핵심 아이디어는 N개의 레이어 각각에 L_i개의 공유 채널을 두고, 입력 하이퍼벡터 h와 각 레이어에서 선택된 채널을 순차적으로 바인딩(⊗)하여 M = Π_i L_i개의 경로 하이퍼벡터 Z_m을 생성하는 것이다. 이렇게 생성된 경로는 클래스별 가중치 행렬 W∈ℝ^{C×M}와 가중합(⊕)을 수행해 클래스별 프로토타입 Y_c를 만든 뒤, 원본 h와의 내적으로 로짓을 얻는다. 바인딩은 원소별 곱셈, 묶음은 가중합으로 구현돼 HDC의 기본 연산만 사용하므로 기존 메모리‑중심 가속기와 완벽히 호환된다.

학습 단계에서는 각 채널을 저차원 잠재 벡터 a^{(i)}_ℓ∈ℝ^d (d≪D)와 고정된 랜덤 프로젝터 R^{(i)}∈ℝ^{d×D}의 곱으로 확장한다. 즉, A^{(i)}_ℓ = a^{(i)}_ℓ R^{(i)} 로 채널을 생성하고, a와 W만을 AdamW로 최적화한다. 프로젝터와 입력 인코더 ϕ는 고정함으로써 고차원 공간의 홀로그램 특성을 보존하고, 파라미터 수를 크게 줄인다. 실험에 따르면 전체 파라미터가 최대 97% 감소하면서도 정확도는 강력한 비압축 HDC 베이스라인에 근접한다.

추론 시에는 모든 채널을 한 번만 물리화하고, M개의 경로를 순차적으로 바인딩·점수 누적(streaming)한다. 이때 메모리 피크는 단일 하이퍼벡터 O(D) 수준에 머물며, 필요에 따라 점수만 바로 업데이트해 Y_c를 저장하지 않아도 된다. 따라서 메모리 제한이 극히 엄격한 엣지 디바이스에서도 실시간 추론이 가능하다.

강인성 측면에서는 고차원 D를 유지하면서 클래스 축을 압축했기 때문에, 차원 축소 기반 압축 기법이 초래하는 concentration‑of‑measure 손실을 피한다. 비트‑플립 실험에서 DecoHD는 기존 HDC보다 2~3배 높은 정확도를 유지했으며, 이는 바인딩·묶음 연산이 잡음에 대해 평균적으로 상쇄 효과를 가지기 때문이다.

하드웨어 평가에서는 AMD Ryzen 9 9950X CPU 대비 277배 에너지 절감·35배 속도 향상, NVIDIA RTX 4090 GPU 대비 13.5배·3.7배, 기존 HDC ASIC 대비 2.0배·2.4배의 효율을 기록했다. 메모리 사용량은 0.38× 수준으로 크게 감소했으며, 이는 채널 수와 레이어 깊이(N)를 조절해 메모리·연산 트레이드오프를 자유롭게 설정할 수 있음을 의미한다.

전반적으로 DecoHD는 “클래스 축 압축”이라는 새로운 패러다임을 제시한다. 고차원 특성을 보존하면서 파라미터와 메모리를 효율적으로 줄이는 구조는 TinyML, 배터리‑리스 IoT, 연합 학습 등 메모리·전력 제약이 심한 실제 응용에 바로 적용 가능하다. 또한 바인딩·묶음·점수 연산만으로 구현되므로 기존 HDC 가속기와의 호환성도 뛰어나, 하드웨어‑소프트웨어 공동 설계에 유리한 설계 원칙을 제공한다.