계통 진화 강화학습: 에이전트 집단 학습 시스템

초록

본 논문은 기존 딥 강화학습 에이전트를 개체 집단으로 구성하고, 유전 알고리즘의 선택·돌연변이·교차 연산을 도입해 진화 과정을 적용한다. 특히 과거 성능을 기반으로 한 ‘계통(lineage)’ 가중치를 도입해 현재 성능과 잠재력을 동시에 평가함으로써, 파라미터를 변경하지 않은 채 DQN, C51, Rainbow, IQN 등 다양한 알고리즘의 학습 속도와 최종 성능을 향상시켰다. Atari 2600 게임 실험에서 기존 알고리즘 대비 학습 효율이 개선된 것을 확인하였다.

상세 분석

이 논문은 강화학습과 진화연산을 결합한 ‘계통 진화 강화학습(Lineage Evolution Reinforcement Learning, LERL)’이라는 새로운 프레임워크를 제안한다. 핵심 아이디어는 기존 딥 Q‑네트워크(DQN)와 그 변형들을 ‘기본 에이전트’로 삼아, 동일한 환경에서 여러 에이전트를 동시에 학습시키는 집단 학습 시스템(GAPLS)을 구축하고, 이 집단에 유전 알고리즘의 핵심 연산인 선택(selection), 돌연변이(mutation), 교차(crossover)를 적용한다는 점이다.

특히 LERL은 전통적인 진화 알고리즘과 차별화되는 ‘계통(lineage) 요인’을 도입한다. 계통 요인은 각 에이전트가 과거에 보여준 성능을 누적·가중치화한 값으로, 현재 에피소드에서의 즉시 보상뿐 아니라 이전 세대에서의 잠재적 우수성을 보존한다. 이를 위해 성능 ρ와 계통 가치 φ를 선형 결합한 평가 지표 Γ= w₁·ρ + w₂·φ 를 정의하고, 이 값을 기반으로 엘리트 전략을 포함한 선택 과정을 수행한다. 이렇게 하면 일시적으로 성능이 저조하더라도 장기적으로 유망한 파라미터 구조가 사라지지 않아, 지역 최적에 빠지는 위험을 완화한다.

구현 측면에서는 기존 DQN 계열이 사용하는 파라미터 벡터를 직접 교차·돌연변이한다. 교차는 두 부모 네트워크의 가중치를 일정 비율로 섞는 방식이며, 돌연변이는 가우시안 잡음을 추가하는 형태로 구현한다. 이는 전통적인 이진 인코딩 기반 유전 연산과 달리 연속적인 신경망 파라미터에 자연스럽게 적용될 수 있다. 또한, ‘인식(perception) 레이어’와 ‘사고(thinking) 레이어’를 분리해 인식 레이어는 고정된 특징 추출기로, 사고 레이어는 강화학습 목표에 맞춰 학습한다는 설계는 파라미터 재사용과 학습 효율성을 동시에 달성한다는 장점이 있다.

실험에서는 Dopamine 프레임워크에 구현된 DQN, C51, Rainbow, IQN을 기본 알고리즘으로 선택하고, 동일한 Atari 2600 게임 환경에서 LERL을 적용하였다. 결과는 대부분의 게임에서 학습 곡선이 더 가파르게 상승하고, 최종 평균 점수가 기존 알고리즘보다 높게 나타났다. 특히 초기 학습 단계에서 계통 요인이 엘리트 에이전트를 빠르게 전파시켜 탐색 효율을 크게 개선한 것으로 보인다.

하지만 몇 가지 한계도 존재한다. 첫째, 계통 가중치 w₂의 설정이 실험마다 민감하게 작용할 가능성이 있는데, 논문에서는 고정값을 사용했으나 자동 튜닝 메커니즘이 필요하다. 둘째, 교차·돌연변이 연산이 파라미터 공간을 무작위로 탐색하게 되므로, 매우 큰 네트워크에서는 연산 비용이 급증할 수 있다. 셋째, 현재 실험은 Atari와 같은 비교적 단순한 환경에 국한되어 있어, 연속 제어나 멀티에이전트 협업 등 복잡한 도메인에 대한 일반화 가능성은 추가 검증이 요구된다.

전반적으로 LERL은 강화학습과 진화연산을 자연스럽게 융합한 새로운 학습 패러다임을 제시하며, 특히 ‘계통’이라는 생물학적 메커니즘을 도입함으로써 잠재적 우수성을 보존하고 빠른 수렴을 유도한다는 점에서 학술적·실용적 가치가 높다. 향후 파라미터 선택 자동화, 대규모 네트워크에 대한 효율적 진화 연산, 다양한 환경에 대한 확장 연구가 진행된다면, 보다 폭넓은 AI 시스템에 적용 가능한 강력한 프레임워크가 될 것으로 기대된다.