도메인 적응 기반 크로스재난 건물 손상 자동 탐지와 강화된 데이터 증강

본 논문은 재난 발생 후 위성 영상을 활용한 건물 손상 자동 평가가 인간‑기계 시스템(HMS)에서 의사결정 지원으로서 갖는 중요성을 강조한다. 기존의 다중 재난 벤치마크(xBD 등) 기반 모델은 훈련 데이터와 실제 적용 지역·재난 유형 사이에 존재하는 도메인 시프트(domain shift) 때문에 새로운 지역이나 재난 상황에 적용했을 때 성능이 급격히 저하되는 문제가 있었다. 이를 해결하기 위해 저자들은 두 단계 앙상블 파이프라인과 감독형 도메인 적응(Supervised Domain Adaptation, SDA)을 결합한 새로운 접근법을 제시한다. **1) 데이터와 사전 학습** 소스 도메인으로는 xBD 데이터셋을 사용한다. xBD는 19가지 자연 재해(허리케인, 지진, 산불 등)와 다양한 센서·지리적 환경을 포함한 대규모 위성 이미지 쌍과 건물·손상 라벨을 제공한다. 이 데이터에서 xView2 챌린지 1위 솔루션(ResNet34, SE‑ResNeXt50, DPN92, SENet154 등 4가지 백본을 각각 3개 시드로 학습한 총 12개 모델)으로 사전 학습된 가중치를 확보한다. 타깃 도메인으로는 Ida‑BD 데이터셋을 선택한다. Ida‑BD는 루이지애나 지역에서 허리케인 Ida(2021) 전후의 위성 이미지와 정밀한 건물·손상 라벨을 포함한다. 이 데이터는 센서 종류, 건축 양식, 재해 특성이 xBD와 크게 다르므로 도메인 적응의 필요성을 명확히 보여준다. 데이터는 80% 학습, 10% 검증, 10% 테스트로 분할한다. **2) 두 단계 파이프라인** - *Stage 1: 건물 검출* 전후 이미지 중 사전 이미지만을 이용해 이진 건물 마스크를 생성한다. 12개의 사전 학습된 U‑Net 계열 모델을 앙상블하고, SDA를 통해 Ida‑BD에 맞게 미세 조정한다. 이 단계에서 얻은 마스크는 Stage 2에 전달되어 건물 픽셀에만 손상 분류가 수행되도록 한다. - *Stage 2: 손상 분류* 전·후 이미지와 Stage 1 마스크를 결합해 6채널 입력을 만든다(전·후 RGB + 마스크). 여기서 세 가지 이미지 증강(엣지, CLAHE, 언샤프 마스크)을 적용한 변형을 각각 혹은 조합해 모델에 입력한다. 손상은 No‑Damage, Minor, Major, Destroyed 네 클래스로 분류한다. **3) 증강 기법** 1) *엣지 검출* – Sobel·Canny 등으로 구조적 경계를 강조, 파손된 지붕·벽면 경계 포착에 유리. 2) *CLAHE* – 지역 히스토그램을 제한적으로 평활화해 저조도·고대비 상황에서도 미세 손상 패턴을 부각. 3) *언샤프 마스크* – 고주파 디테일을 강화해 균열·파편 등 파괴적 손상의 텍스처를 강조. 세 가지를 가중합(α,β,γ,δ)해 하나의 ‘fusion’ 이미지로 만들 수도 있지만, 저자는 개별·쌍별·전체 조합을 모두 실험하여 최적 구성을 탐색한다. **4) 실험 및 결과** - *SDA 효과* : SDA 없이 단순 증강만 적용하면 건물 검출은 어느 정도 가능하지만 손상 분류는 거의 실패한다(Macro‑F1 = 0.1736, Minor = 0.0039, Major = 0.0480, Destroyed = 0.0000). 반면 SDA를 적용하면 건물 검출 F1 = 0.8661, 손상 분류가 크게 회복된다. 이는 도메인 격차가 센서·지리·재해 특성에서 비롯된다는 점을 실증한다. - *증강 Ablation* : 각 증강과 SDA를 결합한 결과를 Table III에 제시한다. 언샤프 마스크 + SDA 조합이 가장 높은 Destroyed F1 = 0.5156, 전체 Macro‑F1 = 0.5552를 달성한다. 엣지·CLAHE를 추가한 풀퓨전은 오히려 성능 저하를 보이며, 서로 다른 시각적 힌트가 충돌할 수 있음을 보여준다. - *시각적 사례* : Figure 3은 SDA 적용 전후의 건물 검출 결과를 비교한다. SDA 없이 모델은 잡음이 많고 건물 경계가 부정확하지만, SDA 후에는 실제 건물 형태와 일치하는 깔끔한 마스크를 만든다. **5) 논의** 저자들은 (i) 감독형 도메인 적응이 크로스‑재난 상황에서 모델의 신뢰성을 확보하는 핵심 요소이며, (ii) 고주파 디테일을 강조하는 언샤프 마스크가 파괴적 손상 식별에 가장 효과적이라는 두 가지 주요 인사이트를 도출한다. 또한, 증강을 무조건 모두 결합하기보다는 목표 손상 클래스와 데이터 특성에 맞는 선택적 적용이 필요함을 강조한다. 이러한 결과는 HMS에서 인간 분석가가 자동화된 결과를 신뢰하고, 빠른 의사결정을 내릴 수 있는 기반을 제공한다. **6) 결론** 본 연구는 xBD 기반 사전 학습 모델을 Ida‑BD에 감독형 도메인 적응과 맞춤형 이미지 증강을 통해 성공적으로 전이시켰으며, 두 단계 앙상블 구조가 배경 잡음을 억제하고 손상 분류 정확도를 높이는 데 기여함을 입증한다. 특히, SDA와 언샤프 마스크 조합이 Macro‑F1 0.5552라는 최고 성능을 기록해, 향후 다양한 재난 유형과 지역에 적용 가능한 견고한 자동 손상 평가 프레임워크로서의 가능성을 제시한다.