과학 실험 장기 작업을 위한 에이전트 VLA 추론 플러그인

초록

과학 실험 로봇의 핵심 과제인 장기간 복합 작업 수행에서, 미세 조정된 VLA 모델은 훈련된 개별 원자 작업은 실행할 수 있지만, 이를 조합한 새로운 순서의 작업에서는 상태 차이로 인해 실패합니다. 본 연구는 추가 훈련 없이 LLM 기반 에이전트가 실시간으로 필요한 ‘전환 작업’ 코드를 생성 및 삽입하는 추론 플러그인(Sci-VLA)을 제안합니다. 이 방법은 시뮬레이션에서 원자 작업당 평균 성공률을 42% 향상시켰으며, 실제 실험실로의 전이도 용이합니다.

상세 분석

본 논문이 해결하고자 하는 근본적인 문제는 ‘분포 불일치’에서 비롯된 ‘상태 차이’입니다. VLA 모델은 훈련 시 각 원자 작업(예: 열순환기 뚜껑 열기, PCR 플레이트 놓기)이 독립적인 시작 상태에서 수행되도록 학습합니다. 그러나 추론 시 이 작업들을 연속적으로 실행하면, 첫 번째 작업 종료 상태가 두 번째 작업의 훈련 시 시작 상태와 일치하지 않아 로봇이 다음 작업을 시작할 수 없는 ‘갭’이 발생합니다. 이는 고정된 프로그램을 사용하는 기존 자동화 방식이나 대규모 데이터 재훈련이 필요한 기존 VLA 접근법으로는 해결하기 어려운 문제입니다.

Sci-VLA의 핵심 기술적 통찰은 ‘추론 단계에서의 에이전트 개입’입니다. 시스템은 미세 조정된 VLA 모델이 원자 작업을 실행한 후, 다음 작업 명령과 현재 환경 상태(관절 위치, 카메라 뷰)를 LLM 에이전트에 제공합니다. 에이전트는 다음 작업의 목표 시작 상태(훈련 데이터에서 검색)와 현재 상태를 비교하여, 그 사이를 연결하는 전환 동작(예: 그리퍼를 열고, 특정 위치로 이동하고, 접근 자세를 취하는 등)을 파이썬 코드 형태로 생성합니다. 이 코드는 안전을 고려한 템플릿에 따라 생성되며, 생성된 후 VLA의 실행 흐름에 삽입되어 로봇을 다음 작업의 올바른 시작 지점으로 안내합니다.

이 방법의 주요 장점은 첫째, ‘추론 시 개입만’으로 추가 데이터 수집이나 모델 재훈련 비용이 전혀 들지 않는 효율성입니다. 둘째, LLM의 강력한 상황 이해 및 코드 생성 능력을 활용하여 다양한 장비와 작업 시나리오에 유연하게 적용 가능한 일반성입니다. 실험 결과, 3단계, 5단계, 8단계의 복합 작업에서 Sci-VLA를 적용한 VLA 모델(π0, π0.5, π0_fast)의 원자 작업당 평균 성공률이 42% 상승했으며, 작업 간 연속 실행 성공률도 크게 향상되었습니다. 이는 시뮬레이션 환경에서 구축된 다양한 과학 장비(오존 클리너, 열순환기 등) 3D 자산에서 검증되었습니다.

핵심 한계점은 LLM의 환각 현상으로 인해 생성된 코드의 안정성과 안전성 보장이 여전히 과제라는 점입니다. 이를 위해 연구진은 출력 템플릿과 제한된 인터페이스를 제공하여 완화하려 했으나, 완전한 자율 운영을 위해서는 더 견고한 검증 메커니즘이 필요할 것입니다. 또한, 전환 작업 생성에 필요한 목표 상태 정보를 훈련 데이터셋에서 검색해야 하므로, 완전히 새로운 원자 작업이 등장하는 경우에는 적용이 제한될 수 있습니다. 그럼에도 불구하고, 기존 VLA 모델의 능력을 재훈련 없이 확장하여 과학 실험실이라는 고정밀·개방형 환경에 적용할 수 있는 실용적인 프레임워크를 제시했다는 점에서 의미가 큽니다.