이질적 신경망의 신용 할당 문제를 해결하는 딥 이노베이션 보호

초록

본 논문은 세계 모델과 같은 이질적 신경망 구조를 진화적 알고리즘으로 전역 최적화할 때 발생하는 신용 할당 문제를 해결하기 위해 ‘딥 이노베이션 보호(Deep Innovation Protection, DIP)’라는 다목적 최적화 기법을 제안한다. DIP는 시각·메모리 모듈이 변형될 경우 해당 개체의 ‘age’ 목표값을 초기화해 컨트롤러가 충분히 적응할 시간을 제공한다. 이를 NSGA‑II와 결합해 VizDoom:Take Cover와 CarRacing‑v0 과제에 적용한 결과, 기존 단일 목표 GA가 실패하던 3D 과제에서 성공적인 정책을 진화시켰으며, 진화 과정에서 에이전트는 생존에 핵심적인 환경 요소를 자동으로 예측하는 내부 표현을 학습한다.

상세 분석

이 논문은 복합적인 신경망 아키텍처, 특히 시각 인코더, LSTM 기반 메모리, 그리고 행동 컨트롤러로 구성된 세계 모델을 진화적 방법으로 전역 학습할 때 발생하는 ‘신용 할당 문제(Credit Assignment Problem, CAP)’를 심도 있게 탐구한다. 기존 연구에서는 각 모듈을 별도로 학습하거나, 전체 네트워크를 단일 목표(최종 보상)만으로 최적화하는 단순 유전 알고리즘(GA)을 사용했지만, 복잡한 3D 환경에서는 모듈 간 상호 의존성이 강해 급격한 파라미터 변동이 컨트롤러의 성능을 급락시키는 현상이 관찰되었다. 이를 해결하기 위해 저자들은 다목적 진화 알고리즘인 NSGA‑II에 ‘age’라는 보조 목표를 도입한다. ‘age’는 시각 모듈(Vision Component, VC)이나 메모리 모듈(MDN‑RNN)이 변형될 때마다 0으로 리셋되며, 변형되지 않은 모듈이 충분히 적응할 수 있도록 선택 압력을 일시적으로 낮춘다. 즉, 동일한 누적 보상을 얻은 개체들 중에서 최신 변형이 적은(‘age’가 낮은) 개체가 더 높은 선택 확률을 갖게 된다. 이는 전통적인 ‘age’가 다양성 유지에 쓰이는 방식과는 달리, 변형된 상위 모듈에 대한 ‘보호 기간’ 개념을 구현한다.

실험 설계는 두 가지 벤치마크를 포함한다. 2D CarRacing‑v0는 비교적 단순한 연속 제어 과제로, DIP와 기존 GA 모두 높은 평균 점수(≈ 900)를 달성해 차이가 미미했다. 반면 3D VizDoom:Take Cover는 에이전트가 불규칙한 파이어볼을 회피하며 2100 프레임 생존해야 하는 복합 과제로, DIP가 평균 824점(표준편차 ≈ 492)으로 유의미하게 우수했다. 대조군으로는 ‘컨트롤러 혁신 보호’, ‘MDN‑RNN·컨트롤러 혁신 보호’, ‘무작위 age’, ‘표준 GA’가 사용됐으며, 이들 모두 DIP에 비해 학습 속도와 최종 성능이 현저히 낮았다. 이는 상위 모듈(시각·메모리)의 변화를 보호하고, 하위 모듈(컨트롤러)이 이를 충분히 학습할 시간을 주는 것이 복합 환경에서 핵심임을 입증한다.

또한, 학습된 정책의 내부 표현을 분석하기 위해 교란 기반 saliency map과 t‑SNE 시각화를 수행했다. 에이전트는 벽, 파이어볼, 몬스터 위치와 같은 생존에 직접적인 영향을 주는 요소에 높은 주의를 기울이며, 화면 하단의 체력·탄약 표시까지도 활용한다는 점이 확인되었다. 흥미롭게도, 시각 인코더가 출력하는 32차원 잠재 벡터(z)는 단독으로는 행동을 결정하기에 충분치 않지만, LSTM 메모리의 은닉 상태와 결합될 경우 명확한 클러스터링이 나타나 행동 결정에 필요한 정보를 충분히 제공한다. 이는 전통적인 재구성 손실이나 미래 예측 손실 없이도 진화 과정이 ‘생존에 중요한 특징’을 자동으로 학습할 수 있음을 시사한다.

기술적 기여는 크게 세 가지이다. 첫째, 이질적 네트워크를 하나의 진화 개체로 취급하면서 모듈별 변형 시점을 추적해 선택 압력을 동적으로 조절하는 ‘Deep Innovation Protection’ 메커니즘을 제안했다. 둘째, NSGA‑II 기반 다목적 최적화를 통해 ‘성능’과 ‘age’라는 상충 목표를 동시에 고려함으로써, 변형된 모듈이 충분히 적응할 수 있는 보호 기간을 제공했다. 셋째, 복합 환경에서의 실험을 통해 DIP가 기존 GA보다 월등히 높은 성공률을 보이며, 진화된 네트워크가 인간이 설계한 전통적인 예측 손실 없이도 의미 있는 내부 표현을 형성한다는 사실을 입증했다. 이러한 접근은 향후 복합 로봇 제어, 자율 주행, 그리고 멀티모달 인지 시스템 등에서 모듈 간 협업을 요구하는 학습 문제에 적용 가능성을 열어준다.