깊이 기반 특징 강화로 3D 인식 능력을 높인 Vision‑Language‑Action 모델

초록

**
본 논문은 기존 2D 영상에만 의존하던 Vision‑Language‑Action(VLA) 모델에 단일 RGB 이미지에서 추출한 깊이 정보를 활용해 3차원 구조 특징을 주입하는 AugVLA‑3D 프레임워크를 제안한다. 최신 단일 이미지 깊이 추정기 VGGT와 경량 PointNet을 이용해 밀집 점군을 생성하고, 이를 Action Assistant라는 경량 보조 모듈을 통해 행동 목표와 정렬시켜 VLA의 공간 이해와 행동 예측 정확도를 크게 향상시킨다.

**

상세 분석

**
AugVLA‑3D는 크게 세 가지 핵심 설계 요소로 구성된다. 첫째, VGGT 기반 깊이 추정이다. 기존 VLA 모델은 대규모 2D 이미지‑텍스트 데이터에 사전학습된 비전‑언어 모델(VLM)을 그대로 사용해 시맨틱 정보를 얻지만, 깊이 정보가 없어서 물체 간 거리, 충돌 회피, 물체 쌓기 등 3D 공간 추론이 필요한 작업에서 한계를 보인다. 저자는 최신 단일 이미지 깊이 추정기인 VGGT를 선택해 RGB 입력을 밀집 깊이 맵으로 변환하고, 카메라 내부 파라미터를 이용해 포인트 클라우드로 역투영한다. 이 과정은 별도의 센서(예: LiDAR) 없이도 3D 구조를 복원할 수 있어 데이터 수집 비용을 크게 낮춘다.

둘째, PointNet 기반 3D 특징 추출이다. 생성된 포인트 클라우드는 고차원(수십만 포인트)일 수 있으므로, 샘플링 연산 S(·)를 통해 적절히 축소한 뒤 PointNet에 입력한다. PointNet은 로컬 기하학적 패턴과 전역 형태를 동시에 포착하는 구조로, 추출된 3D 특징 f₃ᴰ는 고정 차원 C의 벡터 형태가 된다. 이 벡터는 기존 2D 시각 토큰과 병합되어 VLA의 멀티모달 인코더에 전달된다.

셋째, Action Assistant라는 경량 보조 모듈이다. 3D 특징을 바로 메인 액션 헤드에 주입하면 사전학습된 2D 표현과 충돌하거나 학습이 불안정해질 위험이 있다. 이를 방지하기 위해 저자는 Action Expert와 구조는 동일하지만 파라미터가 훨씬 적은 보조 전문가를 설계했다. 보조 전문가는 PointNet 특징을 입력받아 중간 레이어별 행동 임베딩 hᵃˣ(l)을 생성하고, 이를 α(l)라는 학습 가능한 스칼라 게이트와 함께 메인 헤드의 동일 레이어 hᵒʳᶦᵍ(l)에 가중합한다. 이 과정은 3D 정보가 행동 목표와 일관되도록 정규화하고, 메인 네트워크의 표현을 크게 변형시키지 않으면서도 기하학적 제약을 전달한다.

기술적 장점으로는 (1) 센서 프리 접근으로 기존 2D 데이터셋을 그대로 활용 가능, (2) 경량화된 PointNet·Action Assistant가 추가 연산량을 최소화, (3) 다중 레이어 정합을 통해 3D 특징이 깊이 있게 통합돼 복잡한 공간 추론에서 강인성을 확보한다는 점이다. 비교 실험에서는 Gr00t(2D 전용), PointVLA(LiDAR 기반)와 대비해, AugVLA‑3D가 깊이 모호한 상황에서 인식 정확도와 행동 성공률 모두 유의미하게 상승했으며, 특히 물체 겹침·시점 변동이 큰 시나리오에서 10~15% 수준의 성능 향상을 기록했다.

한계점으로는 (1) 단일 이미지 깊이 추정의 오차가 점군 품질에 직접 영향을 미치므로, 조명 변화나 반사면에서 성능 저하가 발생할 수 있다. (2) 현재는 PointNet을 고정된 백본으로 사용했는데, 더 복잡한 3D 구조(예: 비정형 메쉬)에는 추가적인 3D 인코더가 필요할 가능성이 있다. (3) Action Assistant의 가중치 α(l) 학습이 불안정할 경우, 3D 정보가 과도하게 억제되거나 과다 주입될 위험이 있다. 향후 연구에서는 멀티뷰 깊이 추정, 동적 점군 처리, 그리고 어텐션 기반 3D‑2D 융합 모듈을 탐색할 여지가 있다.

**