대규모 포인트 클라우드 장면 흐름 추정을 위한 계층형 퍼뮤토헤드랄 격자 흐름망

초록

HPLFlowNet은 퍼뮤토헤드랄 격자를 이용해 대규모 3D 포인트 클라우드의 장면 흐름을 직접 추정하는 엔드‑투‑엔드 네트워크이다. DownBCL·UpBCL·CorrBCL이라는 세 가지 새로운 연산을 도입해 점들의 구조 정보를 효율적으로 복원·축소·복원하고, 두 연속 프레임을 하나의 격자에 융합한다. 설계상의 비용 절감 덕분에 한 프레임당 최대 86 K 포인트까지 처리 가능하며, FlyingThings3D와 KITTI 2015 데이터셋에서 최첨단 성능을 기록한다. 합성 데이터만으로 학습했음에도 실제 라이다 데이터와 다양한 점 밀도에 강인하게 일반화된다.

상세 분석

본 논문은 3차원 장면 흐름(scene flow) 추정을 위해 기존 포인트‑클라우드 기반 딥러닝이 안고 있던 네 가지 근본적인 문제를 체계적으로 해결한다. 첫째, 포인트 클라우드를 전체 한 번에 처리하면서 메모리와 연산량을 억제하는 방법으로, 퍼뮤토헤드랄 격자(permutohderal lattice)를 활용한다. 이 격자는 d‑차원 단순체(simplices)로 구성돼, 각 포인트를 2^d 개의 정점에 바리센트릭 가중치로 스플랫(splat)하고, 해시 테이블을 통해 비어 있지 않은 격자점만을 대상으로 희소(convolution) 연산을 수행한다. 기존 BCL(Bilateral Convolutional Layer)의 3단계(Splat‑Conv‑Slice) 흐름을 두 단계로 축소한 DownBCL(스플랫‑컨브)와 UpBCL(컨브‑슬라이스)을 도입함으로써, 첫 번째와 마지막 레이어를 제외하고는 입력 포인트 수와 무관하게 격자점 수에 비례하는 연산량만 필요하게 된다. 이는 “점 밀도에 의존하지 않는” 효율성을 제공한다.

둘째, DownBCL·UpBCL은 각각 다운샘플링·업샘플링을 수행하면서, 격자 해상도를 점진적으로 조절한다. 스케일 파라미터 s를 통해 격자 해상도를 조절하면, 더 큰 s는 finer lattice, 작은 s는 coarser lattice을 만든다. 이렇게 계층적 구조를 만들면, 초기 고해상도 격자에서 얕은 특징을 추출하고, 점차적인 해상도 감소 과정에서 전역적인 문맥을 포착한다. 업샘플링 단계에서는 역으로 세밀한 격자에 정보를 전달해, 원래 포인트 위치에 정밀한 흐름 벡터를 복원한다.

셋째, 두 연속 프레임의 정보를 융합하기 위해 CorrBCL을 설계하였다. CorrBCL은 “패치 상관(patch correlation)”과 “변위 필터링(displacement filtering)” 두 단계로 구성된다. 패치 상관 단계에서는 동일 격자상의 이웃 포인트들을 기준으로 두 포인트 클라우드의 특징을 concat(연결)하고, 이를 1×1 컨볼루션 네트워크(g)로 집계한다. 기존 스테레오 매칭에서 사용되는 점곱 대신, 채널 차원을 자유롭게 결합할 수 있는 concat 방식을 채택함으로써, 서로 다른 차원의 특징을 효과적으로 결합한다. 변위 필터링 단계에서는 물리적 움직임이 제한된 범위 내에서 격자 좌표를 이동시켜 가능한 매칭을 탐색하고, 슬라이딩 윈도우 방식으로 집계한다. 이는 광학 흐름에서의 warping 개념을 3D 포인트 클라우드에 그대로 적용한 것으로, 연산량을 크게 늘리지 않으면서도 정밀한 매칭을 가능하게 한다.

넷째, 논문은 실험을 통해 제안된 구조가 실제로 효율성과 정확도 양면에서 우수함을 입증한다. FlyingThings3D 합성 데이터셋에서는 기존 최첨단 방법들을 크게 앞서며, KITTI 실제 라이다 데이터에서도 동일하게 높은 End‑Point Error(EPE)와 정확도를 기록한다. 특히, 합성 데이터만으로 학습한 모델이 실제 환경의 다양한 점 밀도와 센서 노이즈에 강인하게 일반화되는 점은, 퍼뮤토헤드랄 격자의 “밀도 불변성”과 CorrBCL의 변위 제한 전략이 효과적임을 시사한다. 또한, 메모리 사용량과 연산 시간 측면에서 86 K 포인트(프레임당)까지 실시간에 가까운 속도로 처리할 수 있어, 자율주행 차량이나 로봇 시스템에 바로 적용 가능한 수준이다.

요약하면, HPLFlowNet은 (1) 퍼뮤토헤드랄 격자를 통한 효율적인 고차원 필터링, (2) DownBCL·UpBCL을 통한 계층적 해상도 변환, (3) CorrBCL을 통한 두 프레임 간 정교한 융합, (4) 실시간 수준의 메모리·연산 효율성을 동시에 달성한 최초의 장면 흐름 네트워크라 할 수 있다. 이러한 설계는 앞으로 포인트 클라우드 기반 3D 인식·추적·재구성 분야 전반에 걸쳐 확장 가능성이 높으며, 특히 대규모 실시간 애플리케이션에 큰 영향을 미칠 것으로 기대된다.