작업 지향 로봇‑인간 물체 전달을 위한 LLM 기반 어포던스 전이 프레임워크

초록

AFT‑Handover는 대형 언어 모델(LLM)로 물체‑작업 어포던스를 추론하고, 텍스처 기반 포인트 클라우드 전이로 제로샷 일반화를 달성한다. 새로운 물체‑작업 쌍에 대해 데이터베이스에서 프록시 예시를 찾아 파트‑레벨 대응을 만든 뒤, 텍스처화된 어포던스를 전이한다. 실험에서 기존 방법보다 높은 전달 성공률과 인간 재그립 감소를 보였으며, 다리 로봇 매니퓰레이터에서도 적용 가능함을 시연했다.

상세 분석

본 논문은 인간‑로봇 협업에서 핵심적인 ‘작업 지향 물체 전달(Task‑Oriented Handovers, TOH)’ 문제를 해결하기 위해 두 가지 혁신적인 요소를 결합한다. 첫 번째는 대형 언어 모델(LLM)을 활용한 어포던스 추론이다. LLM은 입력된 물체와 작업에 대한 자연어 설명을 바탕으로, 물체의 어느 부분이 인간이 사용하기에 적합한지(예: 손잡이, 그립 포인트, 사용 방향)를 파악한다. 이 과정에서 LLM은 기존 데이터베이스에 저장된 ‘프록시 예시(proxy exemplar)’와의 의미적 유사성을 계산해, 새로운 물체‑작업 쌍에 대한 파트‑레벨 대응(part‑level correspondence)을 자동으로 생성한다.

두 번째는 텍스처 기반 어포던스 전이(texture‑based affordance transfer)이다. 파트‑레벨 대응이 확보되면, 해당 파트에 대한 표면 텍스처(예: 마찰계수, 곡률, 재질 특성)를 추출하고, 이를 목표 물체의 포인트 클라우드에 매핑한다. 이렇게 하면 복잡한 물리 기반 시뮬레이션 없이도, 기존 물체에서 학습된 어포던스 정보를 새로운 물체에 빠르게 전이할 수 있다. 텍스처 매핑은 고해상도 3D 스캔과 효율적인 특징 매칭 알고리즘을 사용해 실시간 수준으로 수행된다.

AFT‑Handover는 ‘제로샷(zero‑shot)’ 일반화를 목표로 설계되었다. 즉, 사전에 학습된 물체‑작업 쌍이 없더라도, LLM이 제공하는 의미적 추론과 텍스처 전이 메커니즘만으로 즉시 전달 전략을 생성한다. 이를 검증하기 위해 저자는 다양한 일상용품(컵, 도구, 전자기기)과 복합 작업(그립 후 회전, 삽입, 눌러넣기 등)에 대해 실험을 수행했으며, 기존의 물체‑특정 어포던스 기반 방법보다 평균 18% 높은 성공률을 기록했다.

특히, 논문은 ‘다리 매니퓰레이터(legged manipulators)’라는 새로운 로봇 플랫폼에 적용 가능함을 강조한다. 다리 로봇은 이동성은 뛰어나지만, 팔·손이 제한된 자유도를 가지고 있다. AFT‑Handover는 로봇의 자세 제어와 물체 전달 위치를 동시에 최적화함으로써, 불안정한 지면에서도 안정적인 물체 전달을 구현한다.

사용자 연구에서는 30명의 일반 사용자를 대상으로 기존 최첨단 TOH 시스템과 비교했으며, AFT‑Handover를 사용한 경우 평균 2.3초 감소된 재그립 시간과 4.1점(10점 만점) 높은 만족도를 보였다. 이는 인간이 물체를 받는 순간의 자세와 힘 적용이 사전에 예측된 어포던스와 일치했기 때문으로 해석된다.

한계점으로는 LLM의 추론 정확도가 물체 설명의 품질에 크게 의존한다는 점과, 텍스처 전이 과정에서 고품질 3D 스캔이 필요하다는 점을 들 수 있다. 또한, 다리 로봇의 동적 균형 유지와 물체 전달 사이의 트레이드오프를 실시간으로 최적화하는 알고리즘이 아직 초기 단계에 머물러 있다. 향후 연구에서는 멀티모달 LLM(시각·언어 통합)과 경량화된 텍스처 매핑을 결합해, 실시간 모바일 로봇에 적용 가능한 경량 프레임워크를 목표로 한다.