파워플레이 스스로 문제를 만들고 해결하는 인공지능

초록

PowerPlay는 자체적으로 새로운 과제를 창출하고, 이를 빠르게 해결하도록 학습하는 자기주도형 시스템이다. SLIM RNN 구조를 이용해 가중치를 조정함으로써 환경과 내부 상태를 동시에 제어하며, 점진적으로 복잡한 기술을 축적한다. 실험 결과, 시스템은 스스로 모듈화를 이루고 기존 기술을 재사용하면서 효율적인 문제 해결 능력을 확장한다.

상세 분석

본 논문은 PowerPlay라는 프레임워크를 통해 인공지능이 단순히 주어진 문제를 푸는 수준을 넘어, 스스로 흥미로운 과제를 발명하고 이를 해결하는 과정을 구현한다는 점에서 혁신적이다. 핵심 메커니즘은 ‘가장 빠르게 찾을 수 있는 새로운 과제’를 지속적으로 생성하고, 기존에 학습된 과제들의 해결 방법을 압축·단순화하거나 가속화하는 것이다. 이를 위해 저자들은 자기 제한적(self‑delimiting) 순환 신경망인 SLIM RNN을 선택하였다. SLIM RNN은 가중치가 프로그램 코드 역할을 하며, 특정 가중치 집합이 활성화될 때 네트워크는 정해진 시간 안에 멈추거나 무한히 실행될 수 있다. 이러한 특성은 전통적인 Turing‑complete 모델과 달리, 실행 시간과 메모리 사용량을 명시적으로 제어할 수 있게 해준다.

PowerPlay의 학습 루프는 크게 네 단계로 구성된다. 첫째, 현재 네트워크가 해결할 수 없는 새로운 과제를 탐색한다. 여기서 과제는 환경에 대한 행동(effector)뿐 아니라 내부 상태 변화를 목표로 하는 추상적인 시퀀스까지 포함한다. 둘째, 후보 과제를 검증하기 위해 최소한의 가중치 변화를 요구하는 솔루션을 탐색한다. 셋째, 제안된 솔루션이 기존 과제들을 손상시키지 않으며, 전체 시스템의 복잡도(가중치 변경 수와 영향 범위)를 최소화하는지 평가한다. 넷째, 조건을 만족하면 해당 솔루션을 네트워크에 통합하고, 새로운 과제와 그 해결 방법을 ‘기술 레코드’에 추가한다.

이 과정에서 눈에 띄는 점은 ‘빠른 검증 가능성’이라는 설계 원칙이다. PowerPlay는 새로운 과제가 기존 과제와 크게 겹치지 않으면서도, 적은 수의 가중치만을 수정하면 해결될 수 있는 경우를 우선적으로 선택한다. 이는 시스템이 무한히 복잡해지는 것을 방지하고, 학습 효율을 극대화한다. 또한, 네트워크는 자연스럽게 모듈화되는 경향을 보인다. 특정 가중치 집합이 여러 과제에서 재사용될 때, 해당 모듈은 더 일반적인 추상화로 진화하며, 새로운 과제는 기존 모듈을 조합하거나 약간 변형하는 형태로 해결된다. 이러한 자기 모듈화는 인간의 발달 과정과 유사하게, 초기에는 단순한 행동을 학습하고 점차 복합적인 행동을 조합해 나가는 구조적 성장 패턴을 보여준다.

실험 결과는 두 가지 주요 관찰을 제시한다. 첫째, 시간 경과에 따라 네트워크가 해결할 수 있는 과제의 범위가 기하급수적으로 확대된다. 초기 단계에서는 단순한 센서‑액추에이터 매핑이 주를 이루지만, 이후에는 복합적인 시퀀스 예측, 추상적 패턴 인식, 그리고 자체 생성된 미니 게임 형태의 과제까지 포함한다. 둘째, 네트워크는 기존 과제에 대한 솔루션을 지속적으로 압축한다. 동일한 기능을 수행하던 여러 가중치 조합이 하나의 더 효율적인 서브네트워크로 통합되면서, 전체 가중치 수와 연산 비용이 감소한다. 이는 PowerPlay가 단순히 과제를 늘리는 것이 아니라, 지식의 정제와 재구성을 동시에 수행한다는 증거이다.

이러한 결과는 인공지능 연구에서 ‘오픈 엔드(open‑ended) 학습’의 실현 가능성을 시사한다. 기존의 강화학습이나 지도학습은 목표가 사전에 정의되어 있어 탐색 범위가 제한적이지만, PowerPlay는 목표 자체를 생성·수정함으로써 무한히 확장 가능한 학습 환경을 제공한다. 또한, 자기 제한적 프로그램 구조와 가중치 기반 코드 재사용 메커니즘은 메모리 효율성과 실행 시간 보장을 동시에 달성할 수 있는 새로운 설계 패러다임을 제시한다. 향후 연구에서는 더 복잡한 물리적 환경, 다중 에이전트 상호작용, 그리고 인간과의 협업 과제 등으로 확장함으로써, 진정한 일반 인공지능에 한 걸음 더 다가갈 수 있을 것으로 기대된다.