ESPADA 의미 인식 시연 데이터 다운샘플링을 통한 실행 속도 향상

초록

본 논문은 인간 시연의 느린 템포를 그대로 물려받는 비전 기반 행동 복제 정책의 문제점을 해결하고자, 시각‑언어‑대형언어 모델(VLM‑LLM) 파이프라인과 3D 그리퍼‑물체 관계를 이용해 시연을 의미‑및 공간적으로 구분한다. 비핵심 구간에서는 공격적인 다운샘플링을 적용하고, 정밀이 요구되는 구간은 원본 속도를 유지함으로써 추가 데이터·재학습 없이도 2배 가량의 실행 속도 향상을 달성한다. 구간 라벨은 동적 시간 왜곡(DTW) 기반 동역학 특징 매칭을 통해 전체 데이터셋에 전파한다. 시뮬레이션·실제 로봇 실험에서 ACT·DP 기반 베이스라인 대비 성공률은 유지하면서 실행 시간이 절반 수준으로 감소한다.

상세 분석

ESPADA는 기존 행동 복제(Behavior Cloning) 기반 비전‑모터 정책이 인간 시연의 자연스러운 속도를 그대로 학습함으로써 로봇의 작업 효율성이 저하되는 문제를 근본적으로 재구성한다. 핵심 아이디어는 “시연의 의미적 중요도”를 정량화하고, 이를 기반으로 시간 축을 선택적으로 압축하는 것이다. 이를 위해 저자들은 먼저 VLM(Visual Language Model)과 LLM(Large Language Model)을 연계한 파이프라인을 구축한다. VLM은 RGB‑D 영상에서 그리퍼와 물체 사이의 3D 관계(접촉, 거리, 상대 방향 등)를 추출하고, LLM은 이러한 관계를 자연어 형태의 시맨틱 라벨(예: “접근”, “정밀 잡기”, “이동”)로 변환한다. 이렇게 얻어진 라벨은 시연을 연속적인 의미 구간으로 분할하는 기준이 된다.

비핵심 구간(예: 물체를 이동시키는 중간 단계)에서는 DTW 기반 동역학 특징(관절 속도, 가속도 등)과 라벨 매칭을 통해 동일한 구간을 식별하고, 시간 간격을 2~4배까지 압축한다. 반면, “정밀 잡기”나 “삽입”과 같이 성공률에 민감한 구간은 원본 프레임을 그대로 유지한다. 중요한 점은 이 과정이 기존 정책의 네트워크 구조나 파라미터를 전혀 변경하지 않으며, 추가적인 데이터 수집이나 재학습 없이도 적용 가능하다는 것이다.

ESPADA의 라벨 전파 메커니즘은 전체 데이터셋에 걸쳐 일관된 의미 구분을 보장한다. 한 에피소드에만 라벨링을 수행하고, 나머지는 동적 시간 왜곡(DTW)을 이용해 동역학 전용 피처(관절 각도, 속도, 토크 등)만으로 매칭한다. DTW는 시계열 길이가 다르더라도 최적 경로를 찾아내어 구간을 정렬하므로, 다양한 시연 속도와 변형에도 강인하게 동작한다.

실험에서는 두 가지 대표적인 행동 복제 프레임워크인 ACT(Attention‑based Cloning Transformer)와 DP(Diffusion Policy)를 베이스라인으로 채택하고, 시뮬레이션(Isaac Gym)과 실제 로봇(UR5e + RG2 그리퍼) 환경에서 6가지 조작 작업(물체 집기, 삽입, 회전, 스택, 툴 교환, 정밀 조정)을 평가했다. 결과는 ESPADA 적용 시 평균 실행 시간이 48% 감소했으며, 성공률은 1~2% 미만의 차이로 기존과 동일 수준을 유지함을 보여준다. 특히 정밀 삽입 작업에서는 기존 정책이 느린 속도 때문에 발생하던 미세 진동이 감소해 성공률이 오히려 약간 상승했다.

한계점으로는 라벨링에 사용된 VLM‑LLM 파이프라인이 사전 학습된 모델에 크게 의존한다는 점이다. 복잡한 물체 형태나 반투명 물체에 대한 3D 관계 추출이 부정확할 경우 의미 구간 분할이 오류를 일으킬 수 있다. 또한 DTW 기반 전파는 동역학 피처가 충분히 구분 가능할 때만 효과적이며, 고차원 피처를 사용하면 계산 비용이 급증한다는 점도 언급된다. 향후 연구에서는 라벨링 자동화 정확도를 높이기 위한 멀티모달 어텐션 메커니즘과, 경량화된 시계열 매칭 알고리즘을 탐색할 필요가 있다.

종합하면 ESPADA는 의미‑공간 인식을 통해 인간 시연의 비효율적인 템포를 선택적으로 압축함으로써, 기존 행동 복제 파이프라인에 최소한의 오버헤드만으로 실행 속도를 크게 향상시키는 실용적인 솔루션이다. 이는 로봇 조작의 실시간 적용성을 높이고, 산업 현장에서 인간‑로봇 협업의 생산성을 증대시키는 데 중요한 기여를 한다.