고속 SPAD 이미지 센서를 위한 FPGA 기반 스케치 라이다 구현

초록

본 논문은 192 × 128 SPAD 이미지 센서에서 발생하는 초당 수십 기가바이트 수준의 타임스탬프 데이터를 실시간으로 압축하기 위해, 다항 스플라인 기반 통계 압축 알고리즘을 FPGA에 구현한 방법을 제시한다. 고정소수점 연산과 LUT를 활용해 곱셈·비선형 연산을 제거하고, 4개의 스케치 처리 요소(SPE)를 파이프라인으로 배치해 512배 압축률을 달성하였다. 실험 결과, 히스토그램 기반 방식과 비교해 깊이 재구성 정확도가 크게 손실되지 않으며, 프레임당 전송량이 크게 감소한다는 장점을 확인하였다.

상세 분석

이 연구는 차세대 고해상도 SPAD 어레이가 초당 수십 기가바이트에 달하는 타임스탬프 스트림을 생성한다는 근본적인 병목 현상을 해결하고자 한다. 기존의 히스토그램 기반 처리 방식은 픽셀당 메모리 요구량이 급격히 증가해 대규모 어레이에 적용하기 어렵다. 저자들은 이전 연구에서 제안한 “스케치” 압축 기법을 FPGA에 직접 구현함으로써, 히스토그램을 만들지 않고도 시간‑도메인 정보를 요약한다. 핵심 수식(1)은 각 픽셀의 n개의 타임스탬프 Xₖ에 대해 M개의 스플라인 값 ẑᵢ를 계산하는데, 여기서 ϕₚ(·)는 다항 스플라인 함수이며 p는 선형(1) 혹은 비선형(2) 형태를 의미한다.

FPGA 구현을 위해 저자들은 다음과 같은 최적화를 수행하였다. 첫째, 고정소수점(FXP) 형식 ⟨16, 7⟩을 채택해 연산 정밀도를 유지하면서도 DSP 사용을 최소화하였다. 둘째, ϕₚ(·)의 값을 미리 계산해 ROM(LUT)으로 저장함으로써 실시간 연산에서 곱셈과 비선형 연산을 완전히 제거하였다. LUT 주소는 타임스탬프 X를 4096(12 bit) 범위에서 2ᴺ(여기서는 N=8, 즉 256 depth)으로 스케일링한 값 B를 사용해 생성되며, 이는 비트 시프트 연산만으로 구현 가능하다. 셋째, 나눗셈 연산은 FPGA 내부에서 수행하지 않고, 누적된 ϕₚ(B) 값과 photon count n을 별도의 BRAM에 저장한 뒤, 최종 정규화는 오프라인 소프트웨어에서 수행한다.

하드웨어 아키텍처는 4개의 SPE가 병렬로 동작하도록 설계되었으며, 각 SPE는 자체 ROM을 갖고 ϕₚ(B) 값을 조회한다. 타임스탬프는 픽셀당 순차적으로 입력되며, 한 프레임당 192 × 128 클럭 사이클이 소요된다. 누적된 ϕₚ(B) 값은 64 bit 폭의 BRAM에 저장되고, 프레임이 미리 정의된 수(예: 512)만큼 쌓이면 USB 3.0 인터페이스를 통해 32 bit 두 개의 FIFO로 전송된다. 또한 photon count n도 별도 BRAM에 누적되어 오프라인에서 사용된다.

리소스 사용량을 보면, 전체 LUT와 레지스터는 약 10 % 수준에 머무르지만, BRAM 사용량이 61 %에 달한다. 이는 현재 설계가 BRAM에 크게 의존하고 있음을 의미한다. 따라서 향후 외부 SRAM을 활용하거나 BRAM 효율을 개선하면 M 값을 더 크게 설정해 정확도를 향상시킬 수 있다.

성능 측면에서, LUT 깊이를 256으로 설정했을 때 평균 로그 오류가 0.47 bin 이하로, 서브‑bin 수준의 정확도를 달성하였다. 실험에서는 512 프레임을 누적해 512× 압축을 구현했으며, 결과적으로 원본 프레임 레이트 6,500 fps가 12.7 fps로 감소했지만, 압축된 데이터 양이 크게 줄어 전송 대역폭 요구가 크게 완화된다. 실제 LiDAR 실험에서는 정밀도 손실이 미미했으며, 깊이 재구성 RMSE와 회귀 분석 결과가 오프라인 히스토그램 기반 방법과 거의 일치하였다.

요약하면, 이 논문은 고정소수점·LUT 기반 스플라인 스케치 압축을 FPGA에 구현함으로써, 대규모 SPAD 어레이의 타임스탬프 전송 병목을 효과적으로 해소하고, 실시간 3D 이미징에 필요한 하드웨어 자원을 최소화했다는 점에서 의미가 크다. 향후 작업으로는 멀티‑픽셀 공간 정규화, 외부 메모리 활용, 그리고 더 높은 FXP 비트폭 적용이 제시된다.