3D 공간 인식을 위한 다층 정렬 로켓

초록

ROCKET은 2D 사전학습된 비전‑언어‑액션(VLA) 모델에 3D 공간 정보를 주입하기 위해, 여러 레이어의 잔차 흐름을 하나의 공유 프로젝터로 정렬하는 다층 정렬 프레임워크이다. 공유 프로젝터와 Matryoshka식 희소 활성화 기법을 통해 그래디언트 간섭을 최소화하고, 4 % 수준의 학습 비용으로 LIBERO에서 98.5 %의 성공률을 달성한다.

상세 분석

본 논문은 기존 VLA 모델이 2D 이미지에만 기반을 두어 3차원 공간 이해가 부족한 문제를 해결하고자 한다. 이를 위해 강력한 3D 비전 기반 모델(VGGT, Depth Anything 등)을 교사(teacher)로 두고, VLA 모델을 학생(student)으로 설정한 표현 정렬(representation alignment) 방식을 채택한다. 기존 연구는 단일 레이어에만 정렬 손실을 적용했으며, 최적 레이어를 찾기 위한 사후 탐색이 필요했다. ROCKET은 이러한 한계를 극복하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 다층 정렬을 “잔차 흐름(residual stream)” 수준에서 수행한다. Residual 네트워크는 각 레이어가 이전 레이어의 출력에 작은 변화를 더하는 형태이므로, 여러 레이어의 잔차를 동일한 매핑 함수에 투사하면 깊이마다 일관된 변환을 학습할 수 있다. 둘째, 레이어별로 별도 프로젝터를 두는 전통적 다층 정렬 방식은 각 프로젝터가 서로 다른 파라미터 공간을 탐색하면서 그래디언트 간섭(gradient interference)을 일으키고, 이는 손실이 상쇄되거나 학습이 불안정해지는 원인이 된다. 논문은 이를 수학적으로 분석하고, 공유 프로젝터를 사용하면 각 레이어의 그래디언트가 동일한 파라미터에 누적되어 코사인 유사도가 크게 증가함을 증명한다(정리 H.1).

또한, 얕은 레이어는 학습 초기에 빠르게 수렴하는 경향이 있어 깊은 레이어의 정렬 신호가 억제될 위험이 있다. 이를 해결하기 위해 Matryoshka식 희소 활성화(sparse activation) 방식을 도입한다. 구체적으로, 레이어가 깊어질수록 프로젝터 내부의 활성화된 파라미터 비율을 증가시켜, 깊은 레이어가 더 많은 자유도를 갖고 정교한 3D 정보를 학습하도록 설계하였다. 이 설계는 손실 균형을 자동으로 조절하면서도 추가적인 연산 비용을 최소화한다.

실험 결과, ROCKET은 기존 단일 레이어 정렬 방식 대비 4 % 정도의 학습 비용만으로도 LIBERO, LIBERO‑Plus, RoboTwin 등 다양한 로봇 매니퓰레이션 벤치마크에서 최고 수준의 성공률을 기록한다. 특히, 훈련 없이 레이어를 선택하는 “training‑free layer selection” 전략과 결합했을 때, 레이어 선택에 따른 성능 변동이 거의 없어 실용성이 크게 향상된다. 다양한 VLA 백본(OpenVLA, PI0 등)에서도 일관된 성능 개선을 보였으며, 3D 공간 이해가 중요한 복잡한 작업에서도 일반화 능력이 뛰어나다는 점을 확인했다.

요약하면, ROCKET은 (1) 다층 잔차 정렬을 위한 공유 프로젝터 설계, (2) 깊이별 그래디언트 균형을 위한 Matryoshka 희소 활성화, (3) 계산 효율성을 유지하면서 3D 공간 정보를 효과적으로 전이하는 방법론을 제시함으로써, 차세대 로봇 조작 시스템에 필요한 공간 인식 능력을 크게 향상시킨다.