넴버스 통합형 인공 데이터 생성 프레임워크

초록

넴버스는 내비게이션·조작 파이프라인을 하나로 묶는 4계층 아키텍처를 제시한다. 트래젝터리 계획, 렌더링, 저장을 비동기 단계로 분리하고 동적 스케줄링·전역 로드밸런싱·분산 장애 복구를 적용해 CPU·GPU·I/O 활용도를 극대화한다. 실험 결과 기존 파이프라인 대비 2~3배의 처리량 향상을 보였으며, 대규모 클러스터에서도 안정적으로 동작한다.

상세 분석

넴버스는 기존 합성 데이터 파이프라인이 작업별로 독립적으로 구현돼 엔지니어링 비용이 높고 시스템 안정성이 낮다는 문제점을 근본적으로 재설계한다. 핵심은 ‘Stage Runner Layer’에서 트래젝터리 계획(CPU 중심), 렌더링(GPU 중심), 저장(I/O 중심)을 각각 별도 워커 풀로 분리하고, 이들 워커를 비동기 큐로 연결해 병목 현상을 최소화한다는 점이다. 이렇게 하면 CPU가 계획을 생성하는 동안 GPU는 이미 준비된 경로를 렌더링하고, 저장 스레드는 이전 프레임을 디스크에 기록하므로 자원 활용률이 90% 이상으로 끌어올려진다.

‘Schedule Opt Layer’는 두 단계 최적화를 제공한다. 첫 번째는 파이프라인 병렬 실행으로, 동일한 시뮬레이션 시나리오를 여러 인스턴스로 복제해 동시 진행한다. 두 번째는 전역 로드밸런싱과 워커‑별 슈퍼바이저를 통한 분산 최적화이다. 로드밸런서는 각 노드의 CPU·GPU·I/O 부하를 실시간으로 모니터링하고, 과부하가 감지되면 작업을 다른 노드로 재배치한다. 슈퍼바이저는 워커 상태를 주기적으로 체크해 장애 발생 시 자동 재시작 및 체크포인트 복구를 수행한다. 이러한 설계는 대규모 클러스터 환경에서 99.9% 이상의 가용성을 확보한다.

‘Backend Opt Layer’는 주요 렌더링 엔진(Blender, Isaac Sim, Gaussian Splatting)에 특화된 최적화를 적용한다. Blender는 하드웨어 가속 파이프라인과 배치 렌더링을 결합해 프레임당 처리 시간을 30% 감소시켰으며, Isaac Sim은 스택드 렌더링 기법으로 메모리 사용량을 절감하고 프레임 레이트를 높였다. Gaussian Splatting은 커널 퓨전을 통해 고해상도 포인트 클라우드 렌더링을 실시간에 가깝게 구현한다.

전체 시스템은 ‘Components Layer’를 통해 내비게이션(예: InternData‑N1)과 조작(예: InternData‑A1, M1) 모듈을 동일한 인터페이스로 래핑한다. 따라서 새로운 시나리오를 추가할 때는 데이터셋 정의와 로봇·환경 어셋만 제공하면 되고, 스케줄러와 백엔드 최적화는 그대로 재사용된다. 실험에서는 최적화되지 않은 베이스라인 대비 2~3배의 엔드‑투‑엔드 처리량을 기록했으며, 48 GPU·96 CPU 노드 규모의 클러스터에서 72시간 연속 실행 시 데이터 손실 없이 안정적으로 동작했다. 이러한 결과는 대규모 기초 모델 훈련에 필요한 수십억 프레임 규모의 합성 데이터를 경제적·기술적으로 생산할 수 있음을 입증한다.