구현된 볼츠만 머신을 통한 임계성 학습

초록

본 논문은 열용량을 최대화하는 학습 규칙을 이용해, 마운틴카 환경에서 동작하는 볼츠만 머신 기반 신경 제어기가 임계 상태에 스스로 도달하도록 설계하고, 그 과정에서 행동 전이와 정보 시너지 증가를 확인한다.

상세 분석

본 연구는 통계역학의 핵심 개념인 열용량(heat capacity)을 최적화 목표로 삼아, 볼츠만 머신(Boltzmann Machine)의 파라미터를 자가조정하는 학습 메커니즘을 제안한다. 열용량은 시스템이 임계점에 접근할 때 발산하는 특성을 가지므로, 이를 최대화하는 방향으로 경사 상승(gradient ascent) 규칙을 설계하면 네트워크가 자연스럽게 임계 상태에 머무르게 된다. 저자들은 전역적인 열용량 대신 개별 뉴런의 경로 엔트로피(path entropy)로부터 정의된 ‘개별 열용량(C_i)’을 도입함으로써, 로컬 정보만으로도 파라미터 업데이트가 가능하도록 수식화하였다. 구체적으로, 각 뉴런 i에 대해 H_i = h_i + Σ_j J_{ji}s_j 로 정의하고, β_i를 1로 고정한 뒤 F_i, G_i, K_i 등 중간 변수들을 이용해 ∂C_i/∂h_i와 ∂C_i/∂J_{ji}를 계산한다. 이때 L2 정규화 항을 추가해 과적합을 방지하고, 학습률 μ와 정규화 계수 λ을 적절히 설정한다.

학습 규칙은 ‘센서 → 은닉 → 모터’ 구조를 갖는 6개의 센서와 6개의 뉴런(은닉+모터)으로 구성된 볼츠만 머신에 적용된다. 센서 입력은 자동차의 가속도 정보를 3비트 이진화하여 제공하고, 두 개의 모터 뉴런이 결합된 결과가 행동 a∈{-1,0,1}을 결정한다. 학습은 1000회의 에피소드(각 5000 스텝) 동안 진행되며, 각 에피소드 종료 시 현재 파라미터에 대한 ∂C_i를 계산해 업데이트한다.

실험에서는 OpenAI Gym의 마운틴카 환경을 사용해 10개의 독립 에이전트를 학습시켰다. β 값을 로그 스케일로 10^{-1}부터 10^{1}까지 21가지로 변조해 파라미터 공간을 탐색함으로써, β=1 부근에서 열용량이 피크를 보이며 Zipf 법칙에 근접한 상태 분포가 나타났다. 이는 네트워크가 임계성에 도달했음을 시사한다. 또한 β=1을 중심으로 행동 양상이 두 가지 모드(저속 진동형 vs 고속 전진형) 사이에서 전이되는 것을 관찰했으며, 이 전이점에서 센서-은닉-모터 간의 시너지 정보가 최대화되는 현상이 보고되었다. 흥미롭게도 10개 에이전트 중 4개만이 실제로 목표 지점(산 정상)까지 도달했지만, 임계성 자체가 행동 성공 여부와 직접적인 인과관계를 갖지는 않으며, 오히려 시스템이 다양한 행동 전략을 탐색하도록 만드는 메타-조절 메커니즘으로 작용한다는 점을 강조한다.

이러한 결과는 (1) 열용량 기반 학습이 물리적 환경과 무관하게 네트워크를 임계점으로 유도할 수 있음, (2) 임계성은 행동 전이와 정보 처리 효율성 사이의 연결 고리 역할을 할 수 있음, (3) 볼츠만 머신이 환경을 볼츠만 분포로 근사할 수 있는 한, 비선형·비정형 환경에서도 동일한 원리를 적용할 수 있음을 시사한다. 저자들은 향후 더 복잡한 생물학적 혹은 로보틱스 시나리오에 이 모델을 확장함으로써, 임계성이 실제 적응적 이점으로 작용하는지를 실험적으로 검증하고자 한다.