LogHD: 로그 스케일 클래스 축 압축으로 초고차원 분류기 효율 극대화

초록

LogHD는 클래스 축을 로그 규모로 압축해 기존 HDC 모델의 메모리 O(C·D)를 O(D·logₖC)로 줄이며, 차원 D는 유지해 높은 잡음 내성을 보존한다. k진법 코드북과 프로파일 기반 디코딩을 사용하고, SparseHD와 결합한 하이브리드 형태도 제시한다. ASIC 구현에서는 기존 CPU·GPU 대비 수백 배 에너지 효율·속도 향상을 달성했으며, 동일 메모리 조건에서 비트 플립 오류에 2.5~3배 더 강인함을 보였다.

상세 분석

LogHD는 초고차원 컴퓨팅(HDC)의 가장 큰 메모리 병목인 “클래스당 하나의 프로토타입” 구조를 근본적으로 재설계한다. 기존 방식은 C개의 클래스마다 D차원의 하이퍼벡터를 저장하므로 O(C·D) 메모리를 요구한다. 논문은 이 문제를 “클래스 축 압축”이라는 새로운 차원에서 접근한다. 핵심 아이디어는 알파벳 크기 k(≥2)를 갖는 k진법 코드를 이용해 각 클래스를 길이 n≈⌈logₖC⌉인 코드워드로 매핑하고, n개의 번들 하이퍼벡터(M₁…Mₙ)를 만든 뒤, 쿼리 하이퍼벡터와 번들을 비교해 n차원 활성화 벡터를 얻는 것이다. 이후 각 클래스마다 학습 데이터로부터 평균 활성화 프로파일(P_c)을 추정하고, 활성화 벡터와 가장 가까운 프로파일을 선택해 최종 클래스를 결정한다.

이 과정에서 두 가지 중요한 설계 요소가 있다. 첫째, 코드북 생성 시 “로드 균형”을 고려한다. 각 심볼 s에 가중치 g(s)=s^{k‑1}을 부여하고, 가중치에 비선형 함수 U(w)=w^{α}를 적용해 번들별 부하를 추정한다. 그런 다음 최소-최대 부하(minimax‑load) 기준으로 코드를 순차적으로 할당해 특정 번들이 과부하되는 것을 방지한다. 이는 클래스 수가 kⁿ보다 작을 때도 가능한 최적에 가까운 코드 배분을 보장한다.

둘째, 번들 자체를 가중 합(superposition)으로 구성한다. 클래스 프로토타입 H_i를 g(B_{i,j}) 만큼 가중해 번들 M_j에 더하고, 필요 시 정규화해 코사인 유사도 계산을 안정화한다. 이렇게 하면 각 번들은 여러 클래스의 정보를 압축적으로 담게 되며, 번들 수가 로그 규모이므로 메모리와 비교 연산량이 크게 감소한다.

추가적으로 논문은 두 단계의 개선을 제시한다. (1) 활성화 프로파일을 학습 데이터 전체에 대해 평균값으로 추정해 디코딩 정확도를 높이고, (2) 선택적 미세 조정 단계에서 퍼셉트론식 업데이트를 수행해 번들을 목표 코드값(τ_j) 쪽으로 이동시킨다. 이 과정은 몇 에폭만 수행해도 교차 클래스 간 간섭을 크게 감소시킨다.

LogHD는 차원 D를 유지하기 때문에 고차원에서 발생하는 “집중 현상(concentration of measure)”을 그대로 활용한다. 이는 비트 플립이나 아날로그 잡음 같은 하드웨어 비정상성에 대한 내성을 크게 향상시킨다. 반면, 기존의 특성 축 압축(SparseHD, CompHD 등)은 D 자체를 줄여 메모리와 연산을 절감하지만, 차원이 작아짐에 따라 유사도 분산이 커져 잡음에 취약해진다. 실험 결과는 이론적 기대와 일치한다. 동일 메모리 예산에서 LogHD는 비트 플립 확률을 2.5~3배까지 높여도 목표 정확도를 유지한다.

하드웨어 구현 측면에서도 LogHD는 큰 장점을 제공한다. ASIC 설계에서는 번들 수가 적어 메모리 접근 횟수가 크게 감소하고, 번들당 연산이 단순 코사인 유사도 계산이므로 파이프라인화가 용이하다. 논문은 AMD Ryzen 9 9950X CPU와 NVIDIA RTX 4090 GPU 대비 각각 498배·62.6배, 24.3배·6.58배의 에너지·성능 향상을 보고한다. 또한 SparseHD와 동일 메모리 조건에서 LogHD ASIC은 4.06배 더 에너지 효율적이며 2.19배 빠른 추론 속도를 보였다.

마지막으로, LogHD와 SparseHD를 결합한 하이브리드 구성도 제안한다. 클래스 축 로그 압축으로 메모리를 크게 절감하고, 필요에 따라 특성 축 스파시티를 추가 적용해 메모리를 더 줄이면서도 두 방법 사이의 견고성 트레이드오프를 조절할 수 있다. 전체적으로 LogHD는 메모리·에너지 효율과 잡음 내성을 동시에 개선하는 새로운 패러다임을 제시한다.