인터랙티브 라이다 카메라 보정 툴박스

초록

본 논문은 라이다와 카메라 간의 정밀한 내·외부 보정을 위해, 자동으로 라이다 프레임에서 평면 보드의 꼭짓점을 검출하고 사용자가 카메라 이미지에서 대응 픽셀을 지정하도록 하는 인터랙티브 툴박스를 제안한다. 보드의 상단 꼭짓점만을 이용하므로 고정밀 체크보드가 필요 없으며, 유전 알고리즘을 활용해 핀홀 및 어안 카메라 모델을 동시에 최적화한다. 실험 결과 VLP‑16 라이다와 Point Grey Chameleon 3 카메라 조합에서 5~6 픽셀 수준의 평균 투영 오차를 달성하였다.

상세 분석

이 연구는 라이다‑카메라 융합 시스템에서 가장 핵심적인 문제인 센서 간 좌표 변환 정확도를 향상시키기 위해 두 가지 혁신적인 접근을 도입한다. 첫 번째는 라이다 포인트 클라우드에서 보드의 최상단 꼭짓점만을 자동 검출하는 알고리즘이다. 기존 방법들은 전체 보드 면이 평면임을 가정하고 다수의 포인트를 이용해 평면 파라미터를 추정했지만, 라이다의 수직 해상도가 낮아 장거리에서 충분한 포인트를 확보하기 어려웠다. 본 논문은 ‘최상단 라인에 단일 포인트가 존재하는가’를 판단 기준으로 삼아, 프레임마다 유효한 꼭짓점이 감지되면 이를 저장하고, 그렇지 않은 경우 프레임을 폐기한다. 이 과정은 알고리즘 1에 명시된 절차대로 ROI 내 포인트를 필터링하고, 라인 간 차이를 이용해 최고 라인을 선택함으로써 구현된다. 결과적으로 보드의 정확한 평면 형태나 재질에 대한 의존도가 크게 감소한다.

두 번째 핵심은 보정 파라미터 최적화에 유전 알고리즘(GA)을 적용한 점이다. 외부 변환은 6 자유도(회전 α, β, γ와 평행이동 u₀, v₀, w₀)로, 내부 변환은 핀홀 모델(4 파라미터) 혹은 어안 모델(10 파라미터)로 정의된다. GA는 초기 파라미터 집합을 기반으로 상·하한을 설정하고, 다중 슬롯(5개)에서 각각 800개의 개체와 30세대 반복을 수행한다. 각 세대마다 적합도(라이다 포인트를 투영했을 때 이미지 평면에서의 평균 픽셀 오차)를 최소화하는 파라미터를 선택하고, 최적 해가 수렴할 때까지 상·하한을 점진적으로 축소한다. 이 방식은 비선형 최적화에서 흔히 발생하는 지역 최소점에 빠지는 문제를 회피하고, 다양한 초기값에 대해 전역적인 탐색을 가능하게 한다.

실험 설계는 실제 자율주행 차량에 장착된 VLP‑16 라이다와 전방 카메라를 사용했으며, 2×3피트 크기의 보드를 45도 회전시켜 한 꼭짓점이 위쪽을 향하도록 배치하였다. 10 m × 30 m 범위에서 보드를 이동시키며 219 초 동안 11 582개의 카메라 프레임과 7 639개의 라이다 프레임을 수집했다. 이 중 222개의 유효한 라이다‑카메라 대응점이 추출되었고, 별도 검증용 데이터셋에서도 358개의 대응점을 확보하였다. 핀홀 모델 기준 평균 투영 오차는 학습 데이터에서 6.35 픽셀, 테스트 데이터에서 6.75 픽셀이며, 어안 모델에서는 각각 5.02 픽셀, 5.10 픽셀을 기록했다. 오차 분포를 분석한 결과, 카메라 광축에 수직인 영역에서는 오차가 작지만, 광축과의 각도가 커질수록 최대 16 픽셀까지 증가한다는 점을 통해 현재 내부 모델의 한계를 확인하였다.

본 논문의 주요 기여는 (1) 라이다 포인트가 희박한 상황에서도 단일 꼭짓점 검출을 통해 정확한 3‑D‑2‑D 대응을 확보한 점, (2) 사용자 인터랙션을 최소화하면서도 보드 준비 비용을 크게 낮춘 점, (3) 유전 알고리즘을 통한 전역 최적화로 다양한 카메라 모델에 적용 가능한 보정 프레임워크를 제공한 점이다. 또한, 장거리(최대 30 m) 환경에서도 실용적인 보정 정확도를 달성함으로써 기존 실내·근거리 전용 방법들의 한계를 극복하였다. 향후 연구에서는 어안 렌즈의 비선형 왜곡 모델을 보다 정교하게 확장하고, 실시간 동기화 및 자동 라벨링 기법을 도입해 완전 자동화된 파이프라인을 구축하는 것이 과제로 남는다.