단위 쿼터니언 기반 쿼터니언 반복 투사 신경망

이 논문은 하이퍼컴플렉스 신경망, 특히 쿼터니언 값을 활용한 연상 메모리 모델의 성능을 향상시키는 새로운 아키텍처인 '쿼터니언 반복 투사 신경망(QRPNN)'을 소개하고 그 우수성을 입증합니다. 연구의 배경은 다음과 같습니다. 전통적인 실수 값 Hopfield 네트워크는 연상 메모리 구현에 유용하지만 제한된 저장 용량과 크로스토크 문제를 가집니다. 이를 해결하기 위해 투사 규칙이나 반복 상관 신경망(RCNN)과 같은 변형들이 제안되었으며, 이러한 모델들은 복소수와 쿼터니언으로 확장되었습니다. 특히 쿼터니언 값 RCNN(QRCNN)은 다차원 데이터(예: 컬러 이미지의 RGB 채널)를 하나의 쿼터니언으로 표현하여 처리할 수 있는 잠재력을 보였지만, 최적의 성능을 위해 조정하기 어려운 큰 매개변수에 의존해야 하는 실용적인 문제가 있었습니다. 본 논문에서 제안하는 QRPNN은 QRCNN의 프레임워크에 투사 규칙을 통합하여 이 문제를 해결합니다. QRPNN의 구조는 두 개의 층으로 이루어져 있습니다. 첫 번째 은닉층은 입력 벡터와 모든 저장된 패턴(기저 패턴) 간의 쿼터니언 내적을 계산한 후, 그 실수부를 취하고 여기 함수(f)를 적용하여 실수 값 가중치 벡터를 생성합니다. 여기서 핵심은 이 내적 계산에 사용되는 가중치 행렬이 기저 패턴 행렬(U)의 켤레 전치가 아니라, 기저 패턴 간의 상관 행렬(C)의 역행렬을 포함하는 '투사 규칙'에 의해 정의된 행렬(V)이라는 점입니다. 두 번째 출력층은 이 가중치 벡터와 기저 패턴 행렬(U)의 선형 결합 결과에 단위 쿼터니언 정규화 함수(σ)를 적용하여 다음 상태를 출력합니다. 이러한 설계를 통해 QRPNN은 기저 패턴이 선형 독립일 경우, 이론적으로 모든 패턴을 완벽한 고정점으로 저장할 수 있습니다. 즉, 크로스토크 효과가 제거되어 저장 용량이 크게 향상됩니다. 논문은 이 주장을 수학적 정리로 증명하며, QRPNN과 QRCNN, 그리고 쌍극성 경우의 커널 연상 메모리(RKAM) 간의 관계를 명확히 합니다. 최종적으로, 저자들은 인공적으로 생성된 패턴과 CIFAR-10 데이터셋의 컬러 이미지를 이용한 광범위한 계산 실험을 수행합니다. 실험 결과는 QRPNN이 동일한 여기 함수를 사용하는 QRCNN보다 우수한 패턴 회상 정확도, 더 높은 노이즈 내성, 그리고 더 안정적인 수렴 특성을 보인다는 것을 확인시켜 줍니다. 결론적으로, 이 연구는 쿼터니언 도메인에서 더 강력하고 실용적인 연상 메모리 모델을 제시하며, 하이퍼컴플렉스 신경망 연구에 중요한 기여를 합니다.