자동차용 체인오브생각 가속화: FastDriveCoT 병렬 디코딩

초록

FastDriveCoT는 자율주행 차량의 비전‑언어‑액션 모델에서 체인오브생각(CoT) 추론을 템플릿 기반 의존 그래프로 분해하고, 독립적인 서브태스크를 동시에 생성함으로써 3‑4배의 속도 향상을 달성한다. 병렬 디코딩 알고리즘은 최소 전방 패스 수를 보장하며, 기존 CoT가 제공하던 의사결정 정확도는 유지한다.

상세 분석

본 논문은 자율주행 시스템에 적용되는 체인오브생각(CoT) 추론이 실시간 요구사항을 충족하지 못한다는 근본적인 문제를 제기한다. 기존의 순차적(autoregressive) 디코딩은 토큰당 하나의 포워드 패스만 수행하므로 GPU 메모리(KV‑cache) 의존도가 높아 연산 효율이 저하된다. 저자들은 이러한 병목을 해소하기 위해 CoT를 구조화된 템플릿으로 재정의하고, 각 필드를 노드로, 필드 간 선후 관계를 간선으로 하는 유향 비순환 그래프(DAG)를 구축한다. 이 그래프는 “날씨”, “도로 상태”와 같이 서로 독립적인 요소를 동시에 디코딩하도록 허용하고, “교통 규칙 요약”처럼 선행 필드가 완료되어야만 생성 가능한 요소는 순차적으로 처리한다.

핵심 기법은 동적 프로그래밍 기반 스케줄링 알고리즘이다. 초기에는 진입 차수가 0인 노드 집합을 ‘ready set’으로 설정하고, 매 포워드 패스마다 ready set에 속한 모든 필드에 대해 한 토큰씩 병렬 생성한다. 필드가 완성되면 해당 노드를 그래프에서 제거하고, 연결된 후속 노드들의 진입 차수를 감소시켜 새로운 ready set을 형성한다. 이 과정은 그래프의 크리티컬 패스 길이와 동일한 최소 포워드 패스 수를 보장하므로, 이론적으로 최적의 속도 향상을 달성한다.

또한 다중 인스턴스 필드(예: 차선 구간, 위험 객체) 에 대해 열거‑정교화 2단계를 도입한다. 첫 단계에서 객체·구간 수를 나열하고, 두 번째 단계에서 각 항목을 병렬로 상세 기술한다. 템플릿에 고정 슬롯(차선 3구간, 위험 객체 4개)을 두어 구현 복잡성을 낮추면서도 대부분의 실데이터에 충분히 대응한다.

실험에서는 LLaMA‑2, DeepSeek‑v3 등 다양한 LLM 기반 VLA 모델에 FastDriveCoT를 적용했으며, CoT 토큰 생성 시간이 3.1×~4.1× 감소하고, 전체 정책 파이프라인 지연도 30% 이상 감소함을 보고한다. 중요한 점은 성능 유지이다; 메트릭 기반 메타‑액션 예측 및 궤적 생성 정확도는 기존 순차 CoT와 통계적으로 유의미한 차이가 없었다.

이 논문은 자율주행이라는 고속, 고신뢰성 도메인에 특화된 템플릿‑그래프‑병렬 접근법을 제시함으로써, LLM 기반 추론이 실시간 시스템에 통합될 수 있는 실용적 길을 연다. 향후 연구는 동적 슬롯 할당, 그래프 자동 생성, 그리고 다른 로봇 분야(예: 매니퓰레이션)로의 확장을 제안한다.