정밀 로봇 조작을 위한 역할 모델 강화학습

초록

RM‑RL은 실제 환경에서 온라인 탐색과 오프라인 지도 학습을 결합한 프레임워크로, 유사 초기 상태에서 가장 높은 보상을 얻은 행동을 ‘역할 모델’로 선택해 실시간 수집된 데이터를 자동 라벨링한다. 이렇게 만든 라벨 데이터는 오프라인에서 반복 재사용되어 샘플 효율성을 크게 높이며, 실험 결과 번역 정확도 53 %, 회전 정확도 20 % 향상을 달성하고, 세포 플레이트를 정밀히 배치하는 실제 작업에 성공한다.

상세 분석

RM‑RL은 기존의 IL·오프라인 RL이 안고 있던 두 가지 핵심 문제, 즉 고품질 데모 확보 비용과 데이터 분포 이동으로 인한 학습 불안정을 동시에 해결한다는 점에서 혁신적이다. 핵심 메커니즘은 ‘역할 모델(action ∗)’을 실시간으로 선정하고, 동일 초기 상태 집합 내의 다른 샘플에 동일 라벨을 부여함으로써 온라인 수집 데이터를 지도 학습 형태로 변환한다는 것이다. 이 과정은 다음과 같이 구체화된다. ① 로봇이 현재 장면 i에서 여러 단계(k) 동안 행동을 수행하고 보상을 기록한다. ② 보상이 가장 큰 행동 a∗i를 역할 모델로 정의한다 (식 2). ③ a∗i의 변위(Δx, Δy, Δψ)를 이산 클래스 인덱스로 변환하고, 장면 i의 모든 상태 s_i,k에 동일 인덱스 I_i를 라벨링한다 (식 3‑4). 이렇게 구축된 D는 사실상 자동 생성된 데모 집합이 된다.

라벨링된 데이터는 즉시 온라인 정책 업데이트에 활용될 뿐 아니라, Replay Buffer에 저장돼 오프라인 단계에서 다중 반복 학습에 사용된다. 이는 ‘한 번 수집된 샘플을 여러 번 활용한다’는 전통적인 RL의 단일 사용 한계를 극복하고, 데이터 효율성을 크게 향상시킨다. 또한, 라벨이 역할 모델 기반이므로 정책이 급격히 변화해도 라벨 품질이 크게 저하되지 않아 분포 이동 문제를 완화한다.

알고리즘 구현 측면에서는 정책 네트워크가 이미지 I와 현재 포즈 P_e를 입력받아 ΔP를 출력하고, 이를 로봇 제어 명령으로 변환한다. 보상은 최종 포즈와 목표 포즈 간 유클리드 거리와 회전 오차의 가중합으로 정의돼, 정책 그래디언트(Williams 1992)로 직접 최적화된다. 하이브리드 학습 루프는 (1) 온라인 RL 단계 → (2) 역할 모델 라벨링 → (3) 오프라인 지도 학습 단계 순으로 순환한다.

실험에서는 UFactory X‑ARM 6을 이용해 셀 플레이트를 선반 슬롯에 정확히 배치하는 1‑step MDP를 설정했다. 기존 온라인 RL(DDPG, SAC 등)과 비교했을 때, RM‑RL은 수렴 속도가 2‑3배 빨라졌으며, 번역 오차는 평균 0.45 mm 이하, 회전 오차는 2.1° 이하로 감소했다. 특히, 시뮬레이션‑투‑리얼 격차가 큰 정밀 작업에서 기존 방법이 실패하거나 불안정하게 동작하는 반면, RM‑RL은 안정적으로 목표 정확도를 달성했다.

한계점으로는 역할 모델 선택이 동일 초기 상태에 크게 의존한다는 점과, 이산화된 액션 스페이스가 연속적인 미세 조정에 제약을 줄 수 있다는 점을 들 수 있다. 향후 연구에서는 연속 액션에 대한 근사 역할 모델(예: 베이지안 최적화) 도입과, 다중 역할 모델(다중 최적 행동) 기반 라벨링을 통해 더욱 복잡한 다관절 로봇 작업에 확장하는 방안을 제시한다.