물리적 지능의 열역학적 한계

초록

본 논문은 인공지능 시스템의 학습·제어 효율을 물리적 관점에서 정량화한다. ‘열역학적 에피플렉시티 per Joule’와 ‘엠파워먼트 per Joule’라는 두 가지 비트‑당‑줄 지표를 제안하고, 명시적 경계·에너지 회계 규칙 하에서 랜다우 한계와 연계한 이론적 벤치마크를 도출한다. 또한 실제 실험에서 잠재 변수 Z가 없을 때는 계산 제한 MDL 에피플렉시티를 대리 지표로 사용하도록 권고한다. 마지막으로 두 지표와 최소 보고 체크리스트를 포함한 통합 효율성 프레임워크를 제시한다.

상세 분석

논문은 먼저 에너지 회계와 열역학적 소모를 명확히 구분한다. 측정된 소비 에너지 E_cons와 열욕(Q_diss) 사이의 관계식(1)을 제시하고, 경계 안·밖의 에너지 흐름을 모두 보고하도록 요구한다. 이때 ‘신선한 저엔트로피 메모리’를 경계 밖에 두면 랜드아우어 기준이 무의미해지는 점을 강조한다.
핵심 개념인 ‘열역학적 에피플렉시티(thermodynamic epiplexity)’는 에이전트 내부 상태 W와 환경 잠재 변수 Z 사이의 상호정보 I(W;Z)로 정의된다. 에피플렉시티 획득량 ΔI는 사전 상태 W_pre와 사후 상태 W_post 사이의 조건부 상호정보로 측정되며, 연속 변수에 대해서는 ε‑코그레이닝을 적용한다.
학습 효율 η_E는 ΔI를 경계 내 소비 에너지 E_cons으로 나눈 비트/줄이다(식 8). 랜드아우어 한계 k_B T ln 2를 기준으로 하면, 이상적인 폐쇄 사이클에서는 η_E가 약 3.5 × 10²⁰ bits/J에 근접해야 한다. 이를 뒷받침하기 위해 Goldt‑Seifert의 열역학적 학습 부등식(식 10)을 도입하고, 데이터 처리 불등식(식 11)을 통해 ΔI가 데이터‑정보 I(W;X)보다 작음을 보인다. 결과적으로 폐쇄‑사이클 가정 하에서 ΔI ≤ (ΔS_sys + Q_diss/T)/k_B ln 2 가 성립하고, 이는 랜드아우어 스케일의 벤치마크를 정량화한다.
반면, 외부에서 저엔트로피 메모리를 지속적으로 공급하면 ΔI/Q_diss 비율을 임의로 크게 만들 수 있음을 Proposition 1으로 시연한다. 따라서 실험 보고 시 경계·리셋·저장 메모리 비용을 명시해야 한다.
실제 환경에서 Z를 알 수 없을 때는 Finzi 등(2022)의 계산 제한 MDL 프레임워크를 대리 지표로 채택한다. MDL 에피플렉시티 I_MDL는 모델 설명 길이 L(M*)와 동일하며, 압축 이득과 함께 보고한다.
두 번째 축인 ‘엠파워먼트 per Joule’는 센서모터 채널 용량 C(τ)와 에너지 비용 E(τ)을 연결한다. 비용‑제약 엠파워먼트 곡선 η_C(E) = C/E 로 정의하고, 고전적인 용량‑당‑비용 결과와 일치함을 보인다. 전체 프레임워크는 η_E와 η_C를 동시에 보고하고, 경계·노이즈·시간·리셋·비용 기준을 체크리스트 형태로 제시한다.