2D 정사사진과 3D 레이저 스캔을 활용한 숲 생물다양성 잠재력 멀티모달 분류

초록

본 연구는 덴마크 온대림에서 수집한 44 378개의 2D 정사사진과 3D ALS 포인트 클라우드 쌍으로 구성된 BioVista 데이터셋을 이용해, 딥러닝 기반 단일·멀티모달 모델을 학습시켜 숲의 생물다양성 잠재력을 고·저 두 클래스로 구분한다. 2D 이미지만 사용한 ResNet은 76.7%, 3D 포인트 클라우드만 사용한 PointVector는 75.8%의 정확도를 보였으며, 두 모달리티를 엔드‑투‑엔드로 결합한 모델은 82.0%의 정확도를 달성하였다.

상세 분석

본 논문은 기존 현장 조사 방식이 비용·시간 면에서 비효율적이라는 문제점을 인식하고, 근거리 원격탐사 데이터인 정사사진과 항공 레이저 스캐닝(ALS) 포인트 클라우드를 융합한 딥러닝 파이프라인을 제안한다. 데이터 전처리 단계에서 정사사진은 12.5 cm 해상도의 RGB + NIR 4채널 이미지로, 포인트 클라우드는 8 points/m²의 밀도로 정규화하였다. 라벨링은 고유자연가치(HNV) 프록시 11개를 기반으로 HNV 점수를 1‑3(저), 4‑6(중), 7‑10(고)으로 구분하고, 본 연구에서는 이진 분류(저 vs 고)에 초점을 맞추었다.

단일 모달리티 모델로는 2D 이미지에 ResNet‑50을, 3D 포인트 클라우드에는 최근 주목받는 PointVector(점 기반 Transformer) 구조를 적용하였다. 두 모델 모두 클래스 불균형을 완화하기 위해 가중치 조정 및 데이터 증강을 수행했으며, 교차 엔트로피 손실함수를 사용해 최적화하였다. 결과적으로 이미지 기반 모델은 스펙트럼 정보, 특히 NIR 채널이 식생 활력과 구조적 다양성을 포착하는 데 기여했으며, 포인트 클라우드 기반 모델은 고도·밀도·구조적 복잡성을 효과적으로 학습했다.

멀티모달 융합 전략은 크게 세 가지로 나뉜다. 첫째, confidence‑based ensembling은 각 단일 모델의 예측 확률을 가중 평균해 최종 결정을 내렸다. 둘째, feature‑level concatenation은 ResNet의 마지막 풀링 벡터와 PointVector의 글로벌 특징을 연결한 뒤, 완전 연결층을 통해 분류했다. 셋째, end‑to‑end fusion은 두 모달리티의 특징 추출기를 동시에 학습시키는 구조로, 중간 레이어에서 교차‑어텐션 메커니즘을 도입해 상호 보완적인 정보를 교환한다. 특히 세 번째 방식이 가장 높은 82.0% 정확도를 기록했으며, 이는 개별 모달리티가 포착하지 못한 미세한 구조‑스펙트럼 상관관계를 효과적으로 학습했음을 의미한다.

실험 결과는 ROC‑AUC, F1‑score 등 보조 지표에서도 일관되게 멀티모달 모델이 우수함을 보여준다. 또한, 혼동 행렬 분석을 통해 고생물다양성 지역에서의 오분류가 크게 감소했으며, 이는 보전 정책 수립 시 중요한 의사결정 지원으로 활용될 가능성을 시사한다. 한계점으로는 데이터가 덴마크 온대림에 국한되어 있어 다른 기후·수목 조성에 대한 일반화 검증이 필요하고, 라벨링이 HNV 프록시 기반이므로 실제 종 다양성과의 직접적인 상관관계 검증이 추가로 요구된다. 향후 연구에서는 다중 시계열 데이터와 고해상도 하이퍼스펙트럼 영상을 포함한 확장된 모달리티를 도입하고, 세분화된 종 수준의 라벨을 확보해 모델의 정밀도를 더욱 향상시킬 수 있을 것이다.