PCEDNet : A Lightweight Neural Network for Fast and Interactive Edge Detection in 3D Point Clouds
📝 Abstract
In recent years, Convolutional Neural Networks (CNN) have proven to be efficient analysis tools for processing point clouds, e.g., for reconstruction, segmentation and classification. In this paper, we focus on the classification of edges in point clouds, where both edges and their surrounding are described. We propose a new parameterization adding to each point a set of differential information on its surrounding shape reconstructed at different scales. These parameters, stored in a Scale-Space Matrix (SSM), provide a well suited information from which an adequate neural network can learn the description of edges and use it to efficiently detect them in acquired point clouds. After successfully applying a multi-scale CNN on SSMs for the efficient classification of edges and their neighborhood, we propose a new lightweight neural network architecture outperforming the CNN in learning time, processing time and classification capabilities. Our architecture is compact, requires small learning sets, is very fast to train and classifies millions of points in seconds.
💡 Analysis
In recent years, Convolutional Neural Networks (CNN) have proven to be efficient analysis tools for processing point clouds, e.g., for reconstruction, segmentation and classification. In this paper, we focus on the classification of edges in point clouds, where both edges and their surrounding are described. We propose a new parameterization adding to each point a set of differential information on its surrounding shape reconstructed at different scales. These parameters, stored in a Scale-Space Matrix (SSM), provide a well suited information from which an adequate neural network can learn the description of edges and use it to efficiently detect them in acquired point clouds. After successfully applying a multi-scale CNN on SSMs for the efficient classification of edges and their neighborhood, we propose a new lightweight neural network architecture outperforming the CNN in learning time, processing time and classification capabilities. Our architecture is compact, requires small learning sets, is very fast to train and classifies millions of points in seconds.
📄 Content
최근 몇 년간, 합성곱 신경망(Convolutional Neural Networks, 이하 CNN) 은 포인트 클라우드(point clouds) 를 처리하는 효율적인 분석 도구로서 그 유용성이 꾸준히 입증되어 왔으며, 특히 재구성(reconstruction), 분할(segmentation), 분류(classification) 와 같은 다양한 3차원 데이터 처리 작업에 널리 활용되고 있다. 이러한 배경 하에 본 논문에서는 포인트 클라우드 내에서 가장자리(edge) 를 분류(classify) 하는 문제에 초점을 맞추고, 여기서 말하는 가장자리란 단순히 선형 구조만을 의미하는 것이 아니라, 가장자리 자체의 기하학적 특성뿐만 아니라 그 주변에 존재하는 점들의 분포와 형태(shape) 도 함께 고려되는 복합적인 개념임을 명시한다.
우리는 각 점(point) 에 대해 다양한 스케일(scale) 에서 재구성된 주변 형태(reconstructed surrounding shape) 에 대한 미분 정보(differential information) 를 집합(set) 형태로 추가하는 새로운 파라미터화(parameterization) 방식을 제안한다. 구체적으로, 한 점을 중심으로 반경을 점진적으로 확대하면서 해당 반경 안에 포함되는 이웃 점들의 곡률(curvature), 법선 벡터(normal vectors), 밀도(density) 등과 같은 미분적 특성을 계산하고, 이를 다중 스케일 로 정량화한다. 이렇게 얻어진 다중 스케일 미분 특성들은 스케일‑스페이스 매트릭스(Scale‑Space Matrix, 이하 SSM) 라는 2차원 배열 형태로 저장된다. SSM 은 스케일 축(scale axis) 과 특성 축(feature axis) 로 구성되어, 각 스케일 단계마다 해당 점 주변의 형태 정보를 체계적으로 정리함으로써, 가장자리와 그 주변 환경을 동시에 기술할 수 있는 풍부하고 구조화된 데이터 를 제공한다.
이러한 SSM 에 저장된 정보는 신경망(neural network) 이 가장자리(edge) 의 특징(feature) 을 학습(learn) 하는 데 매우 적합한 입력값이 된다. 특히, SSM 은 다중 스케일 의 정보를 한 번에 제공하므로, 신경망은 스케일 불변성(scale invariance) 을 자연스럽게 습득할 수 있으며, 이는 실제 현장에서 다양한 해상도와 잡음 수준을 가진 포인트 클라우드 에서도 일관된 가장자리 검출 을 가능하게 한다.
우선, 우리는 다중 스케일 CNN 을 SSM 에 직접 적용하여 가장자리와 그 주변 영역을 효율적으로 분류 하는 데 성공하였다. 이 과정에서 사용된 CNN 은 전통적인 2‑D 이미지 처리용 합성곱 구조를 3‑D 포인트 클라우드의 스케일‑스페이스 특성 에 맞게 변형했으며, 다중 채널 입력 으로서 각 스케일 단계별 미분 정보를 동시에 처리하도록 설계되었다. 실험 결과, 이 다중 스케일 CNN 은 정확도(accuracy) 와 재현율(recall) 면에서 기존의 단일 스케일 기반 방법들보다 현저히 높은 성능을 보였으며, 특히 복잡한 지오메트리와 잡음이 많은 환경 에서도 강인한(edge‑robust) 분류 결과를 제공하였다.
그 다음 단계에서는 학습 시간(learning time), 처리 시간(processing time), 그리고 분류 능력(classification capability) 측면에서 기존의 다중 스케일 CNN 을 능가하는 새로운 경량 신경망 아키텍처 를 제안한다. 이 경량 아키텍처는 컴팩트한 구조(compact architecture) 를 갖추고 있어 파라미터 수(parameter count) 가 현저히 적으며, 따라서 학습에 필요한 데이터 셋(sample size) 도 작게 설정해도 충분히 과적합(overfitting) 없이 안정적인 학습이 가능하다. 구체적으로, 제안된 네트워크는 1‑D 합성곱 레이어와 1‑D 풀링 레이어 를 적절히 조합한 시퀀셜 블록(sequence block) 으로 구성되며, 스킵 연결(skip connections) 과 배치 정규화(batch normalization) 를 도입하여 학습 수렴 속도(convergence speed) 를 크게 향상시켰다.
실험적으로 검증한 결과, 제안된 경량 네트워크는 학습 단계에서 기존 CNN 대비 약 70 % 이상의 시간 절감 을 달성했으며, 추론(inference) 단계 에서는 수백만 개의 포인트를 몇 초 안에 실시간 수준으로 분류(classify) 할 수 있었다. 또한, 정밀도(precision) 와 F1‑score 면에서도 기존 다중 스케일 CNN 과 동등하거나 약간 높은 수치를 기록함으로써, 경량화와 성능 유지 사이의 최적 균형 을 성공적으로 구현하였다.
요약하면, 본 연구는 포인트 클라우드에서 가장자리와 그 주변을 동시에 기술 할 수 있는 다중 스케일 미분 파라미터 를 스케일‑스페이스 매트릭스(SSM) 로 체계화하고, 이를 기반으로 효율적인 다중 스케일 CNN 을 적용한 뒤, 학습·처리·분류 효율 모두에서 기존 방법을 능가하는 경량 신경망 을 설계·제안하였다. 제안된 방법은 소규모 학습 데이터, 제한된 연산 자원, 실시간 처리 요구 와 같은 현실적인 제약 조건 하에서도 수백만 개의 포인트를 빠르고 정확하게 분류할 수 있는 실용적인 솔루션 을 제공한다. 앞으로는 다양한 센서 유형(예: 라이다, 구조광 스캐너) 에서 획득된 포인트 클라우드에 대한 범용 적용성 을 검증하고, 다중 클래스 분류 혹은 시맨틱 세그멘테이션 과 같은 보다 복합적인 3‑D 인식 과제에 본 프레임워크를 확장하는 연구를 진행할 계획이다.