HTM 시스템을 위한 데이터 인코딩 가이드

초록

본 백서는 계층적 시간 기억(HTM) 모델에 사용되는 희소 분산 표현(SDR)으로 데이터를 변환하는 방법을 제시한다. NuPIC 오픈소스 프로젝트에 포함된 기존 인코더들을 소개하고, 새로운 데이터 유형에 맞는 인코더 설계 시 고려해야 할 원칙과 구현 절차를 상세히 설명한다.

상세 분석

HTM은 인간 신경피질의 구조와 학습 메커니즘을 모방한 프레임워크로, 입력 데이터를 SDR 형태로 변환하는 인코더가 시스템 전체 성능을 좌우한다. 논문은 먼저 SDR의 핵심 특성인 희소성(sparsity), 중복성(overlap), 그리고 의미적 거리 보존을 정의하고, 이를 만족시키는 인코더 설계 원칙을 네 가지로 정리한다. 첫째, 동일한 의미의 입력은 높은 겹침을, 다른 의미는 낮은 겹침을 생성해야 한다는 ‘거리 보존’ 원칙이다. 둘째, 각 비트는 가능한 한 많은 입력 값에 참여하도록 설계해 ‘분산성’과 ‘노이즈 내성’을 확보한다. 셋째, 인코더는 입력 범위 전체를 균등하게 커버하도록 ‘범위 균등성’을 유지해야 하며, 넷째, 인코딩 결과는 고정된 비트 수와 활성 비트 비율을 유지해 ‘희소성’ 기준을 만족해야 한다.

기존 인코더로는 스칼라(연속값) 인코더, 날짜·시간 인코더, 카테고리(명목형) 인코더, 그리고 GPS 좌표 인코더가 소개된다. 스칼라 인코더는 입력 범위를 사전 정의된 최소·최대값으로 정규화하고, 활성 비트 블록을 슬라이딩 윈도우 방식으로 이동시켜 연속적인 값 사이에 점진적인 겹침을 만든다. 날짜·시간 인코더는 주기성을 고려해 여러 스케일(시간, 일, 주, 월, 연)로 독립적인 SDR을 생성하고, 이를 OR 연산으로 결합해 복합적인 시간 정보를 표현한다. 카테고리 인코더는 각 클래스에 고유한 비트 집합을 할당하고, 클래스 간 겹침을 최소화해 구분성을 높인다. GPS 인코더는 위도·경도 두 차원을 각각 스칼라 인코더로 변환한 뒤, 두 SDR을 결합해 공간적 근접성을 보존한다.

새로운 데이터 유형에 대한 인코더 개발 절차는 (1) 데이터 특성 분석 → (2) 의미적 거리 정의 → (3) SDR 파라미터(비트 수, 활성 비트 비율) 설정 → (4) 인코딩 함수 구현 → (5) 테스트를 통한 겹침 매트릭스 검증 순으로 제시된다. 특히 겹침 매트릭스 분석을 통해 동일 클래스 간 평균 겹침과 서로 다른 클래스 간 평균 겹침을 정량화하고, 목표 겹침 비율(예: 동일 클래스 30 % 이상, 서로 다른 클래스 2 % 이하)을 만족하는지 확인한다. 또한 인코더는 동적 범위 조정이 필요할 경우 ‘스케일링’ 메커니즘을 도입해 입력 값이 사전 정의 범위를 초과해도 안정적인 SDR을 생성하도록 설계할 수 있다.

마지막으로 논문은 인코더 구현 시 성능 최적화를 위한 실용적인 팁을 제공한다. 비트 수를 과도하게 늘리면 메모리와 연산 비용이 급증하므로, 목표 애플리케이션의 정확도 요구와 리소스 제약을 균형 있게 고려해야 한다. 또한 파이썬 기반 NuPIC 라이브러리의 ‘Encoder’ 추상 클래스를 상속받아 구현하면, 기존 HTM 파이프라인과 원활히 통합할 수 있다. 전체적으로 이 백서는 HTM 시스템에서 데이터 인코딩이 차지하는 핵심 역할을 체계적으로 정리하고, 실무자가 직접 인코더를 설계·검증하는 데 필요한 구체적인 가이드라인을 제공한다.