밀림 하부 지형을 RGB와 NeRF로 복원하는 혁신적 방법

초록

본 논문은 무거운 LiDAR나 열영상 기반 AOS 대신, 일반 RGB 카메라와 Neural Radiance Fields(NeRF)를 활용해 촘촘한 숲 canopy 아래의 지형과 언더스토리를 고해상도로 재구성한다. 저조도 손실 함수와 캔퍼 마스킹 기법을 도입해 빛이 부족한 환경에서도 안정적인 복원을 가능하게 하며, 인체 탐지와 나무 수 측정 등 실용적인 다운스트림 작업에서도 기존 열영상 대비 경쟁력 있는 성능을 보인다.

상세 분석

이 연구는 기존의 고가·고중량 LiDAR와 열 기반 Airborne Optical Sectioning(AOS) 방식이 갖는 비용·무게·해상도 한계를 극복하기 위해, 저비용 RGB 카메라와 최신 신경장면표현인 NeRF를 결합한 파이프라인을 제안한다. 핵심 아이디어는 ‘캔퍼 투과’를 위한 이미지 촬영 프로토콜을 정량화하고, 저조도 환경에 강인한 손실 함수(Low‑light loss)를 적용해 NeRF 학습 시 어두운 언더스토리 픽셀에 더 큰 가중치를 부여한다는 점이다. 또한, 두 가지 캔퍼 제거 전략을 제시한다. 첫 번째는 사전 확보한 디지털 지형 모델(DTM) 높이 정보를 이용해 볼 레이의 시작점을 지면 위로 이동시키는 ‘볼륨 클리핑’ 방식이며, 두 번째는 2D 의미분할(semantic segmentation) 결과를 NeRF의 추가 출력 채널(v)로 학습시켜 캔퍼 픽셀을 투명하게 처리하는 ‘세그멘테이션 마스킹’ 방식이다. 이 두 방법은 상호 보완적으로 작동해, DTM이 부정확하거나 복잡한 지형에서는 세그멘테이션 기반 마스킹이, 반대로 정확한 DTM이 존재할 경우 볼륨 클리핑이 더 효율적이다.

촬영 단계에서는 근접 수직(Nadir) 시점, 높은 샘플 밀도(2025장 이상), 12 cm GSD, 그리고 확산광(오버캐스트·트와일라이트) 하에서의 노출을 권장한다. 직접 햇빛은 캔퍼와 지면 사이의 대비를 과도하게 만들어 동적 범위가 캔퍼에 집중되는 문제를 야기한다. 이러한 촬영 가이드라인은 기존 열 AOS 연구에서 도출된 경험을 RGB에 맞게 재해석한 것으로, 실제 실험에서 촬영 조건이 달라질 경우 재구성 품질이 급격히 저하되는 것을 확인했다.

NeRF 학습에서는 기존 L1 손실에 더해, Mildenhall 등(2021)의 톤매핑 기반 저조도 손실을 적용한다. 이 손실은 로그 스케일의 밝기 차이를 최소화해 어두운 영역의 색상 재현을 크게 향상시킨다. 또한, 캔퍼 마스킹을 위한 추가 출력 채널(v)을 학습할 때는 사전 학습된 SAM(Segment Anything Model)이나 HSV 기반 색상 분할을 이용해 자동으로 라벨을 생성한다. 이렇게 얻은 2D 마스크는 다중 뷰에서 평균화되어 3D 볼륨 내 캔퍼 존재 확률을 추정하고, 최종 렌더링 시 투명도에 반영한다.

실험에서는 세 가지 재구성 전략(기본 NeRF, 저조도 손실 적용 NeRF, 캔퍼 마스킹 포함 NeRF)을 비교했으며, 정량적 지표로 PSNR, SSIM, 그리고 지면 픽셀 정확도를 사용했다. 캔퍼 마스킹을 적용한 모델이 특히 저조도·고밀도 촬영 환경에서 PSNR 23 dB, SSIM 0.050.08 향상을 보였다. 다운스트림 인체 탐지 실험에서는 열 AOS 대비 RGB‑NeRF 기반 이미지에 YOLOv8을 적용했을 때 평균 AP 0.71을 달성했으며, 이는 열 기반 시스템의 0.68에 근접한다. 나무 수 측정에서는 3D 가우시안 스플래팅(3DGS)과 결합해 개별 줄기 베이스를 추출했을 때, 인간 전문가와의 평균 오차가 4.2 %에 불과해 실용성을 입증했다.

전반적으로 이 논문은 ‘비전 기반·신경 렌더링’ 접근이 전통적인 물리 센서와 동등하거나 그 이상으로 숲 하부 인식에 활용될 수 있음을 실증한다. 특히 비용·무게·배터리 소모가 제한적인 소형 UAV나 휴대형 로봇에 적용하면, 실시간 혹은 근실시간 수준의 지형 복원과 객체 탐지가 가능해진다. 향후 연구에서는 실시간 NeRF 가속(예: Instant‑NGP)과 멀티스펙트럼 RGB‑NIR 융합을 통해 캔퍼 투과 효율을 더욱 높이고, 대규모 산림 모니터링 파이프라인에 통합하는 방향이 기대된다.