기억폼 기반 무감독 학습 모델

초록

입력 신호에 따라 자체적으로 벡터장을 형성하고, 그 벡터장이 입력 확률밀도 함수의 음의 기울기로 수렴하도록 설계한 동적 시스템을 제안한다. 안정적인 고정점은 가장 빈번한 패턴을 나타내며, 음악 신호를 이용한 실험을 통해 모델의 작동 원리를 확인하였다.

상세 분석

본 논문은 전통적인 인공신경망이 학습 단계에서 가중치를 알고리즘적으로 조정하는 방식과 달리, 연속적인 외부 자극에 의해 시스템 자체의 벡터장이 비알고리즘적으로 변형되는 “기억폼(memory foam)” 메커니즘을 제시한다. 1차원 경우, 시간 t에 입력 η(t)가 가해지면, 폼의 변형 U(x,t)는 g(x‑η)라는 bell‑shaped 함수와 탄성 계수 k에 의해 미분 방정식 ∂U/∂t = –g(x‑η) – kU 로 기술된다. 여기서 g는 보통 가우시안 형태이며, η(t)가 에르고딕하고 정상적인 확률 과정을 이루면 장기적으로 U는 선형 추세를 보이지만 V = U/t 로 정규화하면 ∂V/∂t = –V/t + g(x‑η) – kV 가 된다. 이 식은 입력의 확률밀도 p(η)와 동일한 형태의 잠재 에너지 V(x)로 수렴함을 보이며, V의 최소점은 p가 최대인 지점을 의미한다. 다차원 확장에서는 x와 η가 N‑벡터가 되며, g는 다변량 가우시안 커널이 된다. 따라서 시스템은 연속적인 커널 밀도 추정(KDE) 과정을 물리적 흐름으로 구현한다는 점에서 기존의 알고리즘적 KDE와 본질적으로 동일하지만, 입력이 독립적일 필요가 없고 실시간 온라인 학습이 가능하다는 장점이 있다. 시뮬레이션 결과는 입력이 무상관일 때 수렴 속도가 빠르고, 상관관계가 있을 경우에도 결국 동일한 확률분포 형태를 복원한다. 음악 신호 실험에서는 플루트 연주를 8 kHz로 샘플링하고, 짧은 시간 푸리에 변환을 통해 각 음표의 주파수를 추출한 뒤, 1‑D 폼에 입력하였다. 폼은 A4(440 Hz), B4(494 Hz), G4(392 Hz)와 같은 주요 주파수에 대응하는 고정점을 형성했고, 4‑D 확장에서는 연속된 네 개의 시간 지연을 포함한 벡터 ψ(t)를 사용해 음표 시퀀스(멜로디)를 인식하였다. 이와 같이 기억폼은 패턴의 계층적 구조를 자연스럽게 형성하고, 새로운 입력이 들어오면 가장 가까운 고정점으로 “이동”함으로써 분류를 수행한다. 논문은 이러한 메커니즘이 아날로그 형태의 정보 처리 장치 구현에 기여할 수 있음을 강조하고, 향후 비선형 동역학, 비정상 입력 처리, 하드웨어 구현 방안 등에 대한 연구 필요성을 제시한다.