UAV 숲 관리용 분기별 3D 재구성을 위한 단계적 깊이 최적화 파이프라인

본 논문은 UAV 기반 자동 가지 절단을 위한 전제조건인 ‘분기별 고정밀 3D 재구성’에 초점을 맞추어, 최신 스테레오 매칭 모델 DEFOM‑Stereo와 인스턴스 분할 모델 SAM3을 결합한 단계적 파이프라인을 제안한다. 연구 배경으로는 뉴질랜드의 라디아타 소나무(Pinus radiata) 플랜테이션이 차지하는 경제적 비중과, 현재 수작업 가지치기의 안전성 문제를 들며, UAV가 1–2 m 거리에서 1 cm 수준의 깊이 정밀도를 제공해야 함을 강조한다. 관련 연구에서는 기존 스테레오 매칭(PSMNet, GwcNet, RAFT‑Stereo 등)과 최근의 기반 모델(DEFOM‑Stereo)의 도메인 일반화 능력을, 그리고 SAM·SAM2·SAM3의 클래스‑불특정 인스턴스 분할 능력을 정리한다. 그러나 이들 기술을 단순히 연결하면 세 가지 오류가 동시에 발생한다는 점을 지적한다. 1) **마스크 경계 오염**: SAM3 마스크가 실제 가지 외곽을 넘어가 배경(특히 하늘) 픽셀을 포함, 깊이 히스토그램에 큰 편차를 초래한다. 2) **분할 부정확성**: 색상 불일치와 인접 마스크 간 겹침으로 인해 일부 픽셀이 잘못 할당된다. 3) **깊이 잡음**: DEFOM‑Stereo는 전역적으로는 정확하지만, 픽셀‑단위 잡음, 국소적인 이상치, 경계 아티팩트가 존재한다. 이러한 문제를 해결하기 위해 6개의 파이프라인 버전을 순차적으로 설계하였다. - **V1 (Baseline)**: DEFOM‑Stereo → 깊이 변환 → SAM3 → 마스크별 포인트 클라우드 생성. 오류가 모두 존재. - **V2 (Morphological Erosion)**: 타원형 구조 요소(rₑ=15 px)로 마스크를 침식, 경계 오염 감소. 그러나 얇은 가지가 소실되는 단점이 드러남. - **V3 (Skeleton‑Preserving Erosion)**: 거리 변환 기반 침식과 스켈레톤 추출·확장을 결합, 얇은 가지 연결성을 보존하면서도 외곽 잡음 차단. - **V4 (Color‑Validated Segmentation)**: (1) V3와 동일한 스켈레톤‑보존 침식, (2) CIELAB 색공간에서 Mahalanobis 거리 기반 색 검증(τ_M=3.5), (3) 연결 성분 정리, (4) 겹침 픽셀을 Mahalanobis 거리 최소값에 따라 재할당하는 교차‑브랜치 해결. 색상 불일치와 마스크 겹침을 효과적으로 제거. - **V5 (Statistical Depth Optimization)**: (1) 다중 라운드 IQR 이상치 제거(α=1.5), (2) Z‑Score 필터링(>2), (3) 7×7 윈도우 내 국소 평균·표준편차 기반 이상치 탐지(β=2.0), (4) 5×5 중간값 필터 적용. 전반적인 잡음 감소하지만, 비대칭·다중 피크 깊이 분포에 취약하고 가장자리 흐림이 발생. - **V6 (Advanced Robust Depth Optimization)**: 최종 5단계 파이프라인. 1) **MAD Global Outlier Detection**: 전역 MAD 기반 변형 Z‑score(m_i) 사용, τ_MAD=3.5, 최대 3 라운드 반복. 2) **Spatial Density Consensus**: 11×11 윈도우 내 이웃 합의 투표, 지역 중간값·MAD 기반 로컬 스케일(ˆσ_loc) 계산, γ=2.0 기준으로 일관성 판단. 3) **Local MAD Filtering**: 지역 MAD와 1.4826 보정 상수로 로컬 스케일 추정, 이상치 재검출 및 교체. 4) **RGB‑Guided Filtering**: 색상 경계와 깊이 경계를 정렬, 가중 평균을 통해 가장자리 보존. 5) **Adaptive Bilateral Filtering**: 깊이와 공간 가중치를 동시에 고려, σ_spatial·σ_range를 동적으로 조정해 세밀한 구조는 유지하면서 잡음 억제. **실험 및 결과**: 캔터베리 지역에서 ZED Mini(63 mm 베이스라인, 1920×1080) 카메라로 촬영한 200여 장의 스테레오 데이터를 사용했다. 각 버전별 정량적 평가는 평균 분기 깊이 표준편차와 시각적 품질을 기준으로 수행되었다. V1에서 12.4 cm였던 표준편차는 V3에서 7.1 cm, V4에서 5.3 cm, V5에서 3.2 cm, 최종 V6에서는 2.2 cm(≈82 % 감소)로 크게 개선되었다. 또한, 얇은 가지가 끊기지 않고 연속된 스켈레톤을 유지했으며, 색상 경계와 깊이 경계가 일치하는 고품질 3D 포인트 클라우드가 생성되었다. **기여**: 1. DEFOM‑Stereo와 SAM3을 최초로 결합한 분기별 3D 재구성 파이프라인 제시. 2. 얇은 가지 토폴로지를 보존하는 스켈레톤‑보존 마스크 침식 알고리즘 개발. 3. LAB‑Mahalanobis 색 검증 및 교차‑브랜치 겹침 해결 전략 도입. 4. 전역·국소·가이드·양방향을 아우르는 5단계 깊이 최적화 설계. 5. 각 단계별 Ablation Study를 통한 정량적 효과 입증. 6. 코드와 처리된 데이터셋을 공개하여 UAV 숲 연구 커뮤니티에 기여. 본 연구는 UAV 기반 자동 가지 절단 시스템에 필요한 고정밀 분기별 3D 정보를 실현 가능하게 하며, 향후 정밀 임업, 생태계 모니터링, 로봇 기반 가지 관리 등에 활용될 수 있다.