스테디핸드 로봇 보조를 위한 약지도 학습 에이전트

초록

본 논문은 현미경 하에서의 미세 조작을 위해, 작업자가 수행하는 짧은 ‘워밍업’ 궤적을 활용해 3D 팁 위치와 손-눈 캘리브레이션을 약지도 방식으로 학습하는 프레임워크를 제안한다. 마크러가 필요 없는 마커리스 인식, 불확실성 기반 오류 예산, 그리고 어드미턴스 기반 공유 제어를 결합해 95 % 신뢰구간에서 가로 정확도 49 µm, 깊이 정확도 291 µm를 달성했으며, 사용자 실험에서 작업 부하를 77 % 감소시켰다.

상세 분석

이 연구는 현미경 영상만을 이용해 미세 로봇 팁의 3차원 위치를 추정하고, 로봇‑현미경 간의 손‑눈 캘리브레이션을 자동으로 수행하는 약지도 학습 파이프라인을 설계했다. 핵심 아이디어는 작업자가 스테디핸드 모드에서 수행하는 짧은 ‘워밍업’ 궤적을 데이터로 활용한다는 점이다. 워밍업은 두 종류(가로 스윕, 축 스캔)로 구성되며, 각각은 팁의 평면 이동과 깊이 변화를 제공한다. 이 궤적을 통해 얻은 이미지‑모션 쌍을 이용해(1) 마스크‑기반 팁 검출 모델을 최소한의 인간 프롬프트(SAM 2)로 학습하고, (2) 스켈레톤에서 끝점 후보를 추출해 시간적 일관성을 고려한 점수 함수로 실제 팁을 선정한다. 깊이 추정은 defocus‑derived 라벨을 이용해 회귀 네트워크를 학습함으로써, 복잡한 굴절·반사 현상을 직접 모델링하지 않고도 실시간 깊이 정보를 얻는다.

캘리브레이션 단계에서는 워밍업 궤적의 관측값과 로봇의 실제 포즈 간 잔차를 최소화하는 Bi‑Chamfer 거리와 속도 일관성 손실을 동시에 최적화한다. 이 과정은 마커 없이도 3‑D 변환 행렬을 추정하고, 추정된 행렬에 대한 불확실성을 워밍업 데이터의 분산으로부터 정량화한다. 이렇게 얻은 불확실성은 제어 루프에 오류 예산으로 삽입돼, 신뢰구간 기반의 안전 제한을 설정한다.

제어 구조는 두 레이어로 나뉜다. 매크로 레이어는 어드미턴스 기반 힘‑속도 변환으로 사용자의 거친 움직임을 억제하고, 마이크로 레이어는 위에서 학습된 팁 위치와 깊이 추정값을 이용해 목표 좌표(2‑D 클릭 + 자동 깊이 보정)로의 속도 명령을 생성한다. 마이크로 레이어는 추정 신뢰도가 일정 임계값 이상일 때만 활성화돼, 사용자가 언제든지 수동으로 전환할 수 있는 안전성을 유지한다.

실험 결과는 두 가지 측면에서 강력하다. 첫째, 정량적 측정에서 95 % 신뢰구간 하에 가로 오차 49 µm, 깊이 오차 291 µm를 달성했으며, 이는 기존 마크러 기반 혹은 순수 2‑D 비전 시스템보다 현저히 우수하다. 둘째, 8명의 피험자를 대상으로 한 NASA‑TLX 설문에서, 제안된 공유 제어 모드가 전통적인 수동 조작 대비 작업 부하를 77 % 감소시켰다. 이는 약지도 학습이 실제 임상 환경에서의 피로도와 오류 가능성을 크게 낮출 수 있음을 시사한다. 전체적으로, 이 논문은 복잡한 광학 현상과 캘리브레이션 드리프트를 데이터‑구동 방식으로 보완하고, 실시간 제어에 필요한 정확도와 안정성을 동시에 만족시키는 실용적인 프레임워크를 제시한다.