시각 기반 적응 제어와 널스페이스 상호작용을 통한 중복 로봇 협업 제어

초록

본 논문은 카메라 보정이 필요 없는 시각 기반 적응 제어와 널스페이스에 인간의 의도를 반영하는 댐핑 모델을 결합한 제어 방식을 제안한다. 제어 입력을 작업공간과 널스페이스로 분리함으로써 로봇은 주요 작업을 유지하면서 인간과 안전하게 협업할 수 있다. Lyapunov 기반 안정성 분석을 통해 위치 오차와 파라미터 추정 오차가 수렴함을 증명하고, AR 인터페이스를 이용한 실험으로 제안 기법의 실효성을 검증하였다.

상세 분석

이 논문은 중복 자유도를 가진 로봇 매니퓰레이터에 대해 두 가지 핵심 요소를 동시에 다루는 새로운 제어 프레임워크를 제시한다. 첫 번째는 눈‑투‑핸드(eye‑to‑hand) 형태의 비보정 카메라를 이용한 시각 기반 작업공간 제어이다. 카메라의 내·외부 파라미터와 깊이(z)값이 미지인 상황에서도, 깊이와 이미지 자코비안을 선형 파라미터화한 회귀 행렬(Yz, Yk)을 도입하고, 적응 법칙(13, 14)을 통해 실시간으로 추정한다. 이때 제어 입력 u_T는 추정된 깊이와 자코비안의 의사역행렬을 이용해 목표 픽셀 좌표 x_d와 현재 좌표 x 사이의 오차를 비례적으로 감소시키는 형태로 설계된다.

두 번째는 널스페이스 상호작용 제어이다. 로봇의 자유도 n이 작업공간 차원 m보다 클 때, J(q)N(q)=0인 널스페이스 행렬 N(q)를 이용해 인간이 제공하는 제어 노력 d(예: 힘, 토크, 혹은 AR 인터페이스 명령)를 직접적으로 반영한다. 목표는 N(q)(c_d · ẋ − d)=0 형태의 댐핑 모델을 구현하는 것으로, 여기서 c_d는 양의 스칼라 댐핑 계수이다. 이를 만족하도록 u_N = N(q)(c_d^{-1} d) 로 정의함으로써, 인간의 입력이 로봇의 주 작업에 영향을 주지 않으면서도 관절의 여유 자유도를 인간이 원하는 방향으로 조정할 수 있다.

안정성 분석에서는 전체 제어 입력 u = u_T + u_N을 사용해 작업공간과 널스페이스의 동역학을 각각 도출하고, Lyapunov 후보 함수 V = ½‖x−x_d‖² + ½Δθ_kᵀL_k^{-1}Δθ_k + ½Δθ_zᵀL_z^{-1}Δθ_z 를 정의한다. 적응 법칙을 대입하면 V̇ = −(x−x_d)ᵀK_p(x−x_d) ≤ 0 이 되며, V는 유계이고 x−x_d, Δθ_k, Δθ_z 모두 유계임을 보인다. 또한 V̇이 영에 수렴함에 따라 x→x_d, 즉 시각 공간 오차가 0으로 수렴함을 증명한다. 널스페이스 동역학은 N(q)·ẋ = N(q)(c_d^{-1} d) 로부터 직접적으로 목표 댐핑 모델이 구현됨을 확인한다.

실험에서는 UR5 로봇에 ArUco 마커를 부착하고, 보정되지 않은 Basler 카메라와 HoloLens 2 기반 AR 인터페이스를 결합하였다. 인간은 AR 슬라이더를 통해 특정 관절에 추가적인 움직임을 지시했으며, 로봇은 목표 픽셀 위치에 도달하면서 동시에 인간의 의도에 따라 관절 구성을 조정했다. 실험 결과는 시각 오차가 빠르게 0에 수렴하고, 인간 입력에 대한 널스페이스 반응이 안정적으로 나타남을 보여, 제안된 제어 구조가 실제 협업 상황에서도 유효함을 입증한다.

이 연구의 주요 기여는 (1) 비보정 카메라 환경에서도 적응적으로 깊이와 이미지 자코비안을 추정하며 작업공간 제어를 수행하는 방법, (2) 널스페이스를 이용해 인간의 다양한 입력을 안전하게 통합하는 댐핑 기반 상호작용 메커니즘, (3) 두 제어 루프를 Lyapunov 이론으로 엄격히 결합해 전역 수렴성을 보장한 점이다. 한계점으로는 적응 파라미터 수렴 속도가 카메라 초기 추정값에 민감할 수 있고, 널스페이스 댐핑 계수 c_d의 선택이 인간‑로봇 협업의 직관성에 영향을 줄 수 있다는 점이 있다. 향후 연구에서는 다중 카메라 융합, 인간 의도 예측 모델링, 그리고 복합 작업(예: 힘 제어와 위치 제어 동시)으로 확장하는 방향이 제시된다.