열역학적 비평형 뉴런 네트워크로 구현하는 비선형 계산

초록

저자들은 열역학적 회로를 ‘뉴런’으로 사용해, 열 잡음에 의해 구동되는 비선형 활성 함수를 구현한다. quartic 포텐셜을 이용해 비선형성을 확보하고, Langevin 동역학 아래 비평형 상태에서도 원하는 함수를 근사하도록 유전 알고리즘으로 파라미터를 최적화한다. 이를 통해 열역학적 신경망이 보편적 함수 근사기능을 수행할 수 있음을 보인다.

상세 분석

이 논문은 열역학적 컴퓨팅의 기존 패러다임을 확장한다. 전통적으로 열역학적 컴퓨터는 볼츠만 분포에 의해 정의된 평형 상태를 이용해 행렬 역연산이나 행렬 지수와 같은 계산을 수행했으며, 이는 시스템이 충분히 긴 시간 동안 평형에 도달해야 한다는 제약이 있었다. 저자들은 이러한 제약을 넘어, 시스템이 평형에 도달하기 전인 비평형 상태에서도 계산을 수행할 수 있는 설계를 제시한다. 핵심 아이디어는 ‘열역학적 뉴런’으로서 단일 자유도 x 를 quartic 포텐셜 U_J(x,I)=J₂x²+J₃x³+J₄x⁴−Ix 에 가두고, 외부 열욕조와 과감하게 결합해 Langevin 과잉감쇠 동역학 \dot{x}=−μ∂V/∂x+√(2μk_BT)η(t) 을 적용하는 것이다. quartic 항(J₄>0)이 존재하면 평형 활성 함수 ⟨x⟩₀는 비선형이 되며, 이는 신경망이 보편적 근사기능을 갖는 전제조건이다. 또한 J₂를 적절히 조절해 입력 I≈0 근처에서 변동성을 억제함으로써 샘플링 효율을 높인다.

비평형 동작을 확인하기 위해 저자들은 초기 조건 x=0에서 시작해 관측 시간 t_f=1(μ⁻¹ 단위)까지 시뮬레이션한다. t_f가 충분히 크면 출력 x(t_f)는 입력 I에 대한 비선형 함수를 나타내며, 이는 평형 활성 함수와 거의 일치한다. 따라서 ‘관측 시간’만 충분히 확보하면 시스템이 완전히 평형에 도달하지 않아도 원하는 비선형 변환을 얻을 수 있다.

다음 단계로, 이러한 뉴런들을 다층 네트워크 구조에 배열한다. 내부 포텐셜 V_int는 각 뉴런의 자체 포텐셜과 층 간 전부 연결된 bilinear 상호작용 J_ij x_i x_j 으로 구성된다. 외부 입력은 V_ext=∑_ij W_ij I_i x_j 로 주입되며, 최종 출력층의 평균 ⟨x_i⟩_r은 M번의 리셋‑샘플링(또는 연속 샘플링) 후 평균을 취한다.

학습은 목표 함수 y₀(z)=cos(2πz)와 평균 제곱 오차 ϕ를 최소화하도록 유전 알고리즘을 적용한다. 파라미터 집합 {J₂,J₃,J₄, J_ij, W_ij, b_i, f_i}를 변이·교차·선택 과정을 통해 최적화하고, M=10³, K=250개의 입력 샘플에 대해 테스트한다. 결과는 비평형 상태에서도 높은 근사 정확도를 보이며, 리셋‑샘플링과 연속‑샘플링 모두에서 유사한 성능을 나타낸다.

이 설계는 열역학적 컴퓨팅이 반드시 평형에 의존할 필요가 없으며, 비선형 포텐셜을 이용해 뉴런 자체가 비선형 활성 함수를 제공한다는 점에서 기존 Boltzmann 머신과 차별화된다. 또한, 열 잡음이 계산 자원으로 활용되므로 에너지 효율성에 대한 새로운 관점을 제공한다. 다만, 실제 물리 구현에서는 잡음 수준, 마이너스 포텐셜 안정성, 그리고 리셋 메커니즘 구현 비용 등이 과제로 남는다.