스택엘버그 PPO를 활용한 효율적인 형태‑제어 공동 설계

본 논문은 로봇 설계 분야에서 형태와 제어를 동시에 최적화하는 공동 설계(co‑design) 문제를 새롭게 접근한다. 기존 연구는 형태와 제어를 별개의 최적화 단계로 다루거나, 형태를 고정하고 제어만 학습하는 단일 레벨 방식을 채택해 왔다. 이러한 접근은 형태가 바뀔 때마다 제어가 즉시 적응한다는 사실을 무시함으로써, 형태 업데이트가 실제 성능과 불일치하고 학습이 불안정해지는 문제를 야기한다. 저자들은 이를 해결하기 위해 스택엘버그 게임 이론을 도입한다. 스택엘버그 게임은 리더가 먼저 전략을 선택하고, 팔로워가 그에 대한 최적 반응을 수행하는 비대칭 구조를 갖는다. 여기서 형태 편집 정책 π_L 을 리더, 제어 정책 π_F 을 팔로워로 설정하고, 두 정책을 각각 파라미터 θ_L, θ_F 로 표현한다. 형태 편집은 그래프‑기반 토폴로지 변환을 통해 비연속적으로 이루어지며, 이는 전통적인 미분이 불가능한 장벽을 만든다. 저자들은 이러한 비연속성을 극복하기 위해 로그‑미분(∇_θ log π) 기법을 활용해 형태 파라미터에 대한 서베이티브를 정의하고, 스택엘버그 암시적 미분(Implicit Differentiation) 공식을 확장한다. 구체적으로, 팔로워의 최적 반응 θ_F^*(θ_L) 을 만족시키는 1차 최적조건 ∇_θF J_F(θ_L,θ_F)=0 을 이용해 ∇_θL θ_F^*(θ_L) 를 근사한다. 이때 발생하는 역헤시안(∇²_θF J_F)⁻¹는 PPO 학습 과정에서 샘플링된 경로를 통해 추정한다. 다음으로, PPO의 핵심 안정화 기법인 likelihood‑ratio clipping을 스택엘버그 서베이티브에 직접 적용한다. 기존 PPO는 정책 변화가 클 경우 급격한 성능 저하를 방지하기 위해 ε 범위 내에서 비율을 클리핑한다. 저자들은 리더와 팔로워 각각에 동일한 클리핑을 적용함으로써, 형태 업데이트가 크게 변하더라도 제어 정책이 급격히 뒤따라 변하지 않도록 설계한다. 이를 ‘Stackelberg PPO’라 명명하고, 알고리즘 흐름을 다음과 같이 정리한다. 1) 초기 형태 s_L⁰ 와 제어 파라미터 θ_F 을 설정한다. 2) 리더는 π_L 에 따라 T 단계 동안 형태 편집 액션을 선택하고, 비연속적인 전이 P_L 을 통해 최종 형태 s_L^T 를 만든다. 3) 팔로워는 새로운 형태를 고정하고, PPO 업데이트를 수행해 θ_F 을 최적화한다. 4) 리더는 팔로워의 최신 θ_F 에 대한 암시적 그래디언트를 포함한 스택엘버그 서베이티브를 계산하고, 클리핑된 PPO 손실을 최소화한다. 이 과정을 반복하면서 형태와 제어가 서로의 변화에 전략적으로 적응한다. 이론적 분석에서는 도출된 서베이티브가 실제 스택엘버그 그래디언트와 국소적으로 동등함을 증명한다. 구체적으로, ∇_θL J_L(θ_L,θ_F^*(θ_L)) = ∇_θL J_L + (∇_θL θ_F^*)ᵀ ∇_θF J_L 이며, 여기서 ∇_θL θ_F^* = ‑(∇_θL ∇_θF J_F)(∇²_θF J_F)⁻¹ 임을 보인다. 또한, 로그‑미분을 이용한 서베이티브가 비연속적인 P_L 에도 적용 가능함을 보여준다. 수렴 보장을 위해 강한 볼록성, Lipschitz 연속성, 그리고 샘플링된 경로의 충분한 다양성을 가정한다. 실험에서는 3가지 대표적인 로봇 작업을 선택했다. ‘Pusher’는 물체를 밀어내는 조작 과제로, 초기에는 팔과 다리가 없는 단순 형태에서 시작해 단계적으로 팔‑형태와 다리‑형태를 추가한다. ‘Walker’와 ‘Quadruped’는 각각 2‑다리와 4‑다리 보행 과제로, 복잡한 관절 구조와 토크 제한을 포함한다. 각 작업에 대해 5개의 난이도 변형을 만들고, 10번씩 독립 실행해 평균 성능을 보고한다. 결과는 다음과 같다. (1) 학습 곡선의 변동성이 기존 PPO 대비 45 % 감소하였다. (2) 최종 성공률·속도는 평균 20.66 % 향상, 복잡한 3D 작업에서는 32.02 %까지 개선되었다. (3) 형태 편집 단계에서 얻은 R_L 보상을 이용해 재료 사용량을 최소화하는 비용‑효율적인 설계가 자동으로 도출되었다. (4) 제시된 코드와 시뮬레이션 영상은 공개 저장소에서 확인 가능하다. 결론적으로, 본 논문은 형태와 제어 사이의 비대칭적, 비연속적 상호작용을 스택엘버그 게임 이론과 PPO의 안정화 메커니즘을 결합해 모델링함으로써, 공동 설계 문제에서 학습 효율성과 설계 품질을 동시에 크게 향상시켰다. 향후 연구는 실제 물리 로봇에 대한 전이, 다중 목표(에너지, 내구성 등) 통합, 그리고 더 복잡한 비정형 형태 공간에 대한 확장 가능성을 제시한다.