강화만으로 오류 구동 학습을 구현하는 진화 알고리즘

초록

본 논문은 복잡한 오류‑구동 학습이 필요해 보이는 행동을, 오직 성과의 질만을 이용한 강화 신호로도 습득할 수 있음을 보이는 이론적 프레임워크와 진화 알고리즘을 제시한다. 인공 신경망의 토폴로지를 진화시켜, 강화 정보만으로도 대규모 문제를 학습할 수 있는 구조를 자동 생성한다. 실험 결과와 생물학적 유사성을 논의한다.

상세 요약

이 연구는 전통적인 오류‑구동 학습(예: 백프로파게이션)이 요구하는 구체적 오류 신호 없이도 복잡한 행동을 학습할 수 있다는 가설을 검증한다. 핵심 아이디어는 ‘진화적 구조 탐색(evolutionary architecture search)’을 통해, 강화 신호만을 이용해 가중치를 조정하는 것이 아니라, 네트워크 자체의 연결 패턴과 모듈화를 사전에 최적화한다는 점이다. 구체적으로, 유전 알고리즘 기반의 진화 과정에서 개체는 (1) 뉴런 수, (2) 층 구조, (3) 연결 가중치 초기화 방식, (4) 메타‑학습 파라미터 등을 유전자로 인코딩한다. 적합도는 강화 학습 환경에서 얻은 총 보상과 학습 효율(에피소드당 보상 상승률)으로 평가된다.

진화 단계에서 선택된 토폴로지는 ‘오류‑전파 없이도 정보 흐름을 효율적으로 재구성할 수 있는 구조’를 의미한다. 예를 들어, 피드포워드와 리커런트 연결이 혼합된 하이브리드 형태, 혹은 특정 서브네트워크가 독립적인 ‘모듈 학습기’ 역할을 수행하도록 설계된다. 이러한 모듈은 강화 신호에 민감한 부분과 비교적 안정적인 부분을 구분함으로써, 전체 시스템이 작은 보상 변동에도 과도하게 반응하지 않게 만든다.

알고리즘은 두 단계로 구성된다. 첫 번째는 ‘진화 단계’로, 수천 번의 세대 교체를 통해 최적 토폴로지를 탐색한다. 두 번째는 ‘강화 학습 단계’로, 선택된 토폴로지에 대해 전통적인 정책 그라디언트(예: REINFORCE, PPO) 혹은 진화 전략 기반의 파라미터 업데이트를 적용한다. 중요한 점은, 진화 단계에서 이미 ‘오류‑전파가 필요 없는’ 구조를 확보했기 때문에, 강화 단계에서는 보상 신호만으로도 빠르게 수렴한다는 것이다.

실험에서는 복잡한 마르코프 결정 과정(MDP)과 로봇 팔 제어, 그리고 Atari 게임과 같은 대규모 벤치마크를 사용했다. 결과는 기존 오류‑구동 학습 기반 네트워크 대비, 동일한 보상 한계에 도달하는 데 필요한 에피소드 수가 30~50% 감소했으며, 특히 보상이 희소하거나 지연된 환경에서 두드러진 성능 향상을 보였다.

이론적 측면에서는 ‘강화‑전파(Reward‑Propagation)’라는 새로운 개념을 도입한다. 이는 강화 신호가 네트워크 내부에서 ‘가중치‑공간이 아닌 구조‑공간’으로 전파된다는 의미이며, 진화가 이 구조‑공간을 탐색함으로써 오류‑전파와 동등한 학습 효율을 달성한다는 주장이다. 또한, 생물학적 아날로그로는 시냅스 가소성보다 뉴런 집단의 회로 재구성이 학습에 더 큰 역할을 한다는 최근 신경과학 연구와 연결한다.

한계점으로는 진화 단계의 계산 비용이 여전히 높으며, 토폴로지 탐색이 특정 도메인에 과적합될 위험이 있다. 또한, 강화 신호가 완전히 무작위이거나 전혀 보상이 없는 경우에는 진화가 수렴하지 않을 가능성이 있다. 향후 연구에서는 메타‑진화(예: 베이즈 최적화)와 멀티태스크 학습을 결합해 일반화 가능한 토폴로지를 도출하는 방안을 제시한다.