정렬 인식 및 신뢰도 기반 다중모달 융합을 통한 UAV 탐지 향상

초록

본 논문은 열·시각 센서 간 해상도·시야 차이를 보정하고, 각 모달리티의 신뢰성을 동적으로 가중화하는 두 가지 융합 기법(RGIF, RGMAF)을 제안한다. ECC 기반 어파인 정렬과 가이드 필터를 결합한 RGIF는 열 영상의 대비를 유지하면서 구조적 디테일을 강화하고, 광학 흐름과 어파인 정렬을 활용한 RGMAF는 상황에 따라 열·시각 정보를 적절히 조절한다. 대규모 MMFW‑UAV 데이터셋(147,417 프레임)에서 YOLOv10x 백본을 사용한 실험 결과, RGIF는 mAP@50을 2.13%p 상승시켰으며(RGMAF는 98.64%의 최고 재현율 달성) 기존 융합 방식 대비 견고한 성능 향상을 입증한다.

상세 분석

본 연구는 UAV 탐지에 필수적인 열·시각 멀티모달 융합의 두 가지 핵심 문제, 즉 공간 정렬 불일치와 모달리티 신뢰도 변동을 동시에 해결하고자 한다. 첫 번째 전략인 Registration‑aware Guided Image Fusion(RGIF)는 Enhanced Correlation Coefficient(ECC) 알고리즘을 이용해 열 영상과 시각 영상 사이의 어파인 변환을 추정하고, 이후 가이드 필터를 적용해 열 영상의 베이스 레이어(대조·열 특징)와 시각 영상의 디테일 레이어(에지·구조)를 효과적으로 결합한다. ECC는 픽셀 단위 정밀 정렬을 제공하면서도 계산 효율성이 높아 대규모 데이터셋에 적합하고, 가이드 필터는 정렬 오차가 존재할 경우에도 열 정보가 과도하게 흐려지는 현상을 억제한다. 두 번째 전략인 Reliability‑Gated Modality‑Attention Fusion(RGMAF)은 어파인 정렬에 더해 광학 흐름 기반의 미세 변위 보정을 수행한 뒤, 각 모달리티에 대한 신뢰도 점수를 동적으로 계산한다. 신뢰도는 열 영상의 온도 대비와 시각 영상의 샤프니스(라플라시안 변동) 등을 정량화한 후, 이를 가중치로 활용한 어텐션 메커니즘에 입력한다. 이렇게 하면 조명 변화, 안개, 급격한 움직임 등 환경 요인에 따라 어느 한쪽 모달리티가 일시적으로 약해지더라도 전체 융합 결과가 안정적으로 유지된다. 실험에서는 MMFW‑UAV 데이터셋의 세 가지 센서(열, 광각, 줌)에서 1024×1280, 2160×3840 등 서로 다른 해상도를 그대로 사용했으며, 사전 정렬 없이도 RGIF와 RGMAF가 각각 2.13%p와 0.9%p 수준의 mAP 향상을 달성했다. 특히 RGMAF는 재현율 98.64%를 기록해, 미세 목표(소형 드론) 검출에 강점을 보였다. 비교 대상인 전통적인 라플라시안 피라미드, 웨이브릿 변환, 단순 알파 블렌딩 등은 해상도 불일치와 정렬 오류에 취약해 성능이 현저히 낮았다. 한계점으로는 ECC와 광학 흐름 정렬 단계가 복잡도 측면에서 추가 비용을 초래하고, 실시간 적용을 위해 경량화된 구현이 필요하다는 점을 들 수 있다. 전체적으로 본 논문은 정렬 인식과 신뢰도 기반 어텐션을 결합한 융합 파이프라인을 제시함으로써, 이종 센서 데이터를 효과적으로 통합하고 UAV 탐지 정확도를 크게 향상시킨다는 중요한 기여를 한다.