다중 로봇 시각 거리 상대 위치 추정의 새로운 패러다임 Mr Virgil

초록

본 논문은 초광대역(UWB)과 카메라 기반 시각 정보를 융합하여 다중 로봇 간 상대 위치를 추정하는 end‑to‑end 학습 프레임워크인 Mr Virgil을 제안한다. 그래프 신경망(GNN)과 차분 가능한 Sinkhorn 알고리즘을 이용해 UWB 거리와 시각 검출 사이의 데이터 연관성을 수행하고, 예측된 매칭 점수와 불확실성을 차분 가능한 포즈 그래프 최적화(PGO) 백엔드에 전달한다. 전체 파이프라인은 분산 ROS 기반 시스템으로 구현되어 실시간 로봇군에 적용 가능하며, 시뮬레이션·실험실·현장 테스트에서 기존 방법 대비 높은 정확도와 강인성을 보인다.

상세 분석

Mr Virgil은 다중 로봇 시스템에서 가장 난제인 ‘시각 검출과 UWB 거리 측정 사이의 매칭 불확실성’을 근본적으로 해결한다는 점에서 의의가 크다. 먼저 전처리 단계에서 각 로봇은 자체 UWB 태그와 카메라를 이용해 ‘베어링(방위)’과 ‘거리’라는 두 가지 관측을 얻는다. 이때 시각 검출은 익명화된 바운딩 박스로 제공되므로, 기존의 ID‑코드 기반 하드웨어(예: IR LED, AprilTag)와 달리 소프트웨어적으로 매칭을 수행해야 한다.

논문은 이를 위해 그래프 신경망(GNN)을 활용한다. 베어링을 노드로, 동일 로봇 내의 자기‑에지와 로봇 간의 교차‑에지를 각각 정의해, 자기‑주의(self‑attention)와 교차‑주의(cross‑attention)를 여러 레이어에 걸쳐 반복한다. 이렇게 하면 각 노드가 전체 군집 구조를 인식하게 되어, 단순 거리 기반 매칭보다 전역적인 컨텍스트를 반영한 매칭 점수를 산출한다. 점수 행렬 S는 이후 ‘더스트빈(dustbin)’ 행·열을 추가해 N+1 × M+1 형태로 확장된다. 이는 매칭 실패(오클루전, 가짜 검출 등)를 명시적으로 모델링하기 위함이며, 학습 가능한 파라미터가 더스트빈 스코어를 조절한다.

차분 가능한 Sinkhorn 알고리즘을 적용해 이 확장된 행렬을 이중 정규화한다. Sinkhorn은 행·열 합을 사전에 정의된 상수(v)로 맞추면서 부분 할당(partial assignment)을 수행하고, 역전파가 가능하도록 미분 가능하게 구현된다. 결과적으로 매칭 확률과 매칭 불확실성(분산)이 동시에 출력된다.

매칭이 확정된 각 로봇‑검출 쌍에 대해서는 추가적인 MLP가 3‑DoF 위치 추정과 공분산(불확실성) 추정을 수행한다. 여기서는 원시 시각 거리(베어링 × UWB 거리), 사전 위치, 매칭 점수, 매칭 확률을 결합한 피처를 입력으로 사용한다. 매칭이 실패한 로봇은 사전 위치를 그대로 유지하고, 큰 공분산을 부여해 최적화 단계에서 약한 제약으로 처리한다.

백엔드에서는 차분 가능한 포즈 그래프 최적화(PGO)를 적용한다. 각 로봇을 기준 좌표계(k)로 정의하고, (1) 상호 관측(mutual) 제약, (2) 사전 포즈(pose prior) 제약, (3) UWB 거리 제약을 포함한다. 상호 관측 제약은 앞서 예측된 3‑DoF 위치와 그 공분산을 사용해 회전은 무시하고 전이벡터만 최적화한다. 사전 포즈 제약은 관측이 부족할 때 최적화가 발산하지 않도록 돕는다. UWB 거리 제약은 고정된 공분산을 사용해 전역 스케일을 보정한다. 전체 비용 함수는 Levenberg‑Marquardt 방식과 Cholmod 스파스 솔버를 이용해 최소화되며, 각 반복 단계의 그래디언트가 앞선 GNN‑MLP 네트워크에 역전파된다.

학습 손실은 (a) 매칭 손실(L_match) – 정답 매칭 행렬과 더스트빈 행렬을 교차 엔트로피 형태로 최적화, (b) 최대우도 손실(L_ML) – 예측된 공분산을 이용해 다변량 가우시안 로그우도 최소화, (c) 포즈 손실(L_pose) – 최종 6‑DoF 포즈와 GT 사이의 MSE를 최소화한다. 세 손실은 가중치 λ₁, λ₂로 조정된다.

시스템 구현 측면에서 논문은 ROS, LibTorch, Ceres Solver 기반의 분산 아키텍처를 제시한다. 각 로봇은 로컬에서 GNN‑MLP 추론을 수행하고, 매칭 결과와 공분산을 네트워크에 브로드캐스트한다. 중앙 서버는 없으며, 모든 로봇이 동등하게 PGO를 수행한다는 점이 실시간 다중 로봇 운영에 적합하다.

실험에서는 시뮬레이션(다양한 로봇 수, 오클루전/비오클루전)과 실제 드론 실험(실내/실외, 조명 변화)에서 기존 방법(CREPES, Omni‑swarm, 전통적 Hungarian 매칭 등)과 비교했다. 결과는 매칭 정확도에서 95 % 이상, 최종 포즈 RMSE가 5 cm 이하로, 특히 오클루전 상황에서 기존 방법이 크게 오차가 증가하는 반면 Mr Virgil은 안정적인 성능을 유지함을 보여준다. 또한 학습 데이터가 제한된 상황에서도 전이 학습을 통해 좋은 일반화 능력을 입증했다.

핵심 기여는 (1) 전역적인 그래프 구조를 이용한 데이터 연관성 모델링, (2) 매칭 불확실성을 정량화해 PGO에 직접 반영, (3) 차분 가능한 최적화와 역전파를 통한 엔드‑투‑엔드 학습, (4) 분산 실시간 구현이다. 한계점으로는 회전 정보가 전면에 포함되지 않아 3‑DoF만 추정한다는 점, 그리고 UWB 거리의 고정 공분산 가정이 실제 환경에서 변동될 수 있다는 점을 들 수 있다. 향후 연구에서는 6‑DoF 전방위 매칭, 동적 환경에서의 적응형 공분산 모델링, 그리고 라이다·IMU와 같은 추가 센서 융합을 고려할 수 있다.