심층·순환 신경망을 활용한 고차원 보행 제어 최적화

초록

본 논문은 가이드드 폴리시 서치(GPS) 알고리즘을 이용해, 관절 각도 입력을 토크 출력으로 매핑하는 연속 고차원 보행 제어 문제에 심층 및 순환 신경망을 적용한다. 얕은 네트워크, 두 층 심층 네트워크, 그리고 단일 층 순환 네트워크를 비교 실험했으며, 깊은 구조와 순환 구조가 일반화에 약간의 이점을 제공하지만, 과적합과 지역 최적점에 취약함을 확인하였다.

상세 분석

이 연구는 강화학습에서 정책 표현력의 한계를 극복하고자, 기존의 이미지 기반 인식 단계에만 적용되던 딥러닝 기법을 직접 제어 정책에 도입한다는 점에서 의미가 크다. 가이드드 폴리시 서치(GPS)는 사전 시연(demonstration)과 차분 동적 프로그래밍(DDP) 기반 궤적 최적화를 결합해, 높은 보상을 주는 궤적 분포를 샘플링함으로써 정책 파라미터를 안정적으로 업데이트한다. 이때 정책은 신경망으로 파라미터화되며, LBFGS와 일반 SGD 두 가지 최적화 기법을 상황에 맞게 선택한다.

실험에서는 9자유도 평면 보행 로봇을 대상으로, -10°~+10° 구간의 경사면을 무작위로 배열한 10개의 테스트 지형과 1·5·10개의 학습 지형을 사용하였다. 입력 특징은 관절 각도·속도·접촉 여부·상대 위치 등 30차원이며, 출력은 6개의 관절 토크이다. 네트워크 구조는 (1) 얕은 단일 층(50·100 유닛), (2) 두 층 심층(20·50 유닛), (3) 단일 층 순환(20·50 유닛)으로 구분하고, 활성화 함수는 소프트 ReLU와 하드 ReLU를 각각 시험했다.

결과는 크게 세 가지 인사이트를 제공한다. 첫째, 학습 지형 수가 증가할수록 일반화 성능이 향상되며, 특히 10개의 지형을 사용했을 때 깊은 네트워크와 순환 네트워크가 얕은 네트워크보다 약간 높은 성공률을 보였다. 둘째, 소프트 ReLU와 하드 ReLU는 최적화 방식에 따라 서로 다른 장점을 보였다. 소프트 ReLU는 LBFGS와 결합될 때 깊은 네트워크의 학습이 원활했으나, 하드 ReLU는 순환 구조에서 장기 역전파 시 그래디언트 소실 문제가 덜 발생해 안정적인 학습이 가능했다. 셋째, 네트워크 규모가 커질수록 과적합과 지역 최적점에 빠지는 위험이 커졌으며, 기존 이미지 기반 정규화 기법(스파시티, 디노이징 등)은 상태 피처의 절대값 민감성 때문에 효과가 제한적이었다. 이는 제어 정책에 특화된 정규화 전략이 필요함을 시사한다.

전반적으로, 심층·순환 구조가 제어 정책에 적용될 때 얻을 수 있는 일반화 이득은 존재하지만, 학습 안정성, 정규화, 그리고 최적화 알고리즘 선택이 성공 여부를 좌우한다는 점을 강조한다. 향후 연구에서는 변분 GPS를 순환 정책에 적용하거나, 메타러닝·계층적 강화학습을 통해 정책의 구조적 재사용성을 높이는 방향이 제시된다.