정밀 수분을 위한 실시간 꽃 자세 추정 프레임워크 FloPE

초록

FloPE는 3D Gaussian Splatting 기반의 합성 데이터와 지식 증류를 활용해 경량화된 모델을 학습시킴으로써, 저전력 로봇에서 실시간으로 6자유도 꽃 자세를 추정한다. 평균 위치 오차 0.6 cm, 회전 오차 19.14°를 달성했으며, 실제 로봇 실험에서 78.75 %의 수분 성공률을 기록했다.

상세 분석

본 논문은 로봇 수분 작업에 필수적인 고정밀 6DoF 꽃 자세 추정 문제를 해결하기 위해 세 가지 핵심 기술을 결합한다. 첫째, 3D Gaussian Splatting(3DGS)을 이용해 실제 식물의 형태와 질감을 고해상도로 복원하고, 이를 기반으로 무작위 카메라 포즈에서 다수의 렌더링 이미지를 생성한다. 3DGS는 기존 NeRF 대비 메모리 효율이 높고 실시간 렌더링이 가능해 대규모 합성 데이터셋 구축에 적합하다. 둘째, 생성된 이미지에 대해 텍스트 기반 Grounding DINO와 SAM을 활용해 자동으로 바운딩 박스와 세그멘테이션 마스크를 얻은 뒤, 초경량 YOLOv11 nano 모델에 학습시켜 실시간 꽃 검출 파이프라인을 구현한다. 이는 저전력 엣지 디바이스(Nvidia Jetson 등)에서도 30 fps 이상을 유지하도록 설계되었다. 셋째, 자세 추정 단계에서는 PoseNet 구조에 R⁹ + SVD 회전 표현을 도입한다. 9차원 실수 벡터를 3×3 회전 행렬로 변환하고 SVD를 통해 SO(3) 상에 정규화함으로써, 쿼터니언의 이중 커버 문제와 유클리드 손실 함수의 불연속성을 회피한다. 또한 꽃의 방사형 대칭성을 고려해 yaw 각을 무시하고 L2 손실을 최소화한다. 추정된 2D 위치와 깊이 정보를 이용해 3D 좌표를 복원하고, EKF를 통해 위치와 회전 모두를 연속적으로 필터링한다. EKF는 회전 상태를 R⁹ 공간에서 업데이트한 뒤 다시 SO(3)로 투사함으로써, 회전의 특이점 문제를 효과적으로 완화한다. 실험에서는 단일 UR5와 다중 팔 Stickbug 로봇에 적용했으며, 평균 위치 오차 0.6 cm, 평균 회전 오차 19.14°를 달성했다. 특히 실제 수분 작업에서 78.75 %의 성공률을 기록했으며, 기존 66 % 수준을 크게 상회한다. 데이터 생성 비용을 크게 낮추고, 교사‑학생 모델 간 지식 증류를 통해 경량 모델이 고성능을 유지한다는 점이 본 연구의 가장 큰 강점이다. 또한 코드와 데이터셋을 공개함으로써 재현성과 확장성을 확보하였다.