다중센서 어텐션 네트워크를 활용한 콘크리트 교량 갑판 내부 박리 자동 탐지

초록

본 논문은 지반투과 레이다(GPR)와 적외선 열영상(IRT) 데이터를 계층적 어텐션 메커니즘으로 융합한 딥러닝 프레임워크를 제안한다. 시간 자기‑어텐션으로 GPR 신호를, 공간 어텐션으로 IRT 영상을 처리하고, 교차‑모달 어텐션으로 두 센서 간 상관관계를 학습한다. Monte Carlo dropout 기반 불확실성 추정으로 모델·데이터 불확실성을 분리하고, SDNET2021의 다섯 교량 데이터셋에서 클래스 불균형이 적당할 때 기존 단일‑센서·단순 결합 방식보다 10‑25 % 정확도·AUC 향상을 확인하였다. 극심한 불균형 상황에서는 다중‑헤드 어텐션이 과적합에 취약함을 보여, 간단한 구조가 더 견고할 수 있음을 지적한다.

상세 분석

이 연구는 교량 갑판의 잠재적 박리를 비파괴적으로 탐지하기 위해 GPR과 IRT라는 서로 보완적인 두 센서를 동시에 활용한다는 점에서 의미가 크다. GPR은 전자기파를 이용해 10‑30 cm 깊이까지 탐지하지만 얕은 결함(2‑3 cm)에서는 신호가 약해지는 반면, IRT는 표면 근처(0.5‑10 cm)의 열적 변화를 민감하게 포착한다. 이러한 물리적 차이를 고려해 논문은 각각의 데이터 특성에 맞는 어텐션 구조를 설계하였다.

첫 번째 단계인 시간 자기‑어텐션은 1‑차원 Conv1D 스택을 통해 추출된 512‑차원 GPR A‑scan 시퀀스를 8‑head Self‑Attention에 입력한다. 이는 시계열 내에서 중요한 반사 패턴을 전역적으로 강조하고, 노이즈에 강인한 표현을 만든다. 두 번째 단계인 공간 어텐션은 112×112×3의 IRT 이미지를 2‑D Conv 스택으로 128‑채널 특징 맵(14×14)으로 변환한 뒤, CBAM(Convolutional Block Attention Module)과 SE(Channel‑SE) 모듈을 결합해 채널 및 공간 중요도를 동시에 학습한다.

핵심 융합 메커니즘은 교차‑모달 어텐션이다. GPR과 IRT 각각에서 얻은 128‑차원 임베딩(e_GPR, e_IRT)을 학습 가능한 모달리티 임베딩과 합쳐 다중‑헤드 어텐션(8‑head)으로 입력한다. 이 과정에서 두 센서 간의 상호 보완적 패턴—예를 들어, 깊은 결함에서 강한 GPR 반사와 약한 열 신호, 혹은 얕은 결함에서 반대 패턴—을 자동으로 매핑한다. 다중‑헤드 설계는 서로 다른 헤드가 특화된 상관관계를 학습하도록 유도해 단일‑헤드 대비 확률적 캘리브레이션이 향상된다.

불확실성 정량화는 Monte Carlo dropout을 T=25번 수행해 에피스테믹(모델) 불확실성 σ²_e와 알레아트릭(데이터) 불확실성 σ²_a를 분리한다. 이를 통해 고불확실성 샘플을 인간 검토로 라우팅하는 ‘불확실성 기반 선택적 자동화’ 전략을 구현했으며, 전체 정확도 93 %를 달성했다.

실험에서는 SDNET2021에 포함된 다섯 교량(총 663 k GPR, 4.58 M IRT 픽셀) 데이터를 사용했다. 클래스 비율이 8:1 이하(소수 클래스 비중 ≥12 %)인 경우, 제안 모델은 단일‑센서 CNN, 1‑D CNN, 그리고 단순 특징 결합(Concat) 대비 평균 정확도 10‑25 %·AUC 0.95‑0.998 향상을 보였다. 특히 Park River Median 데이터셋에서는 96.6 % 정확도와 99.8 % AUC를 기록했다.

하지만 클래스 불균형이 9:1을 초과하고 소수 클래스 비중이 2 % 이하로 떨어지면, 교차‑모달 어텐션이 다수 클래스에 과도히 편향되는 현상이 관찰되었다. 이는 어텐션 가중치가 충분히 학습되지 못하고, 다중‑헤드가 서로 경쟁하면서 불안정해지는 현상으로, 단순 1‑D CNN이나 SVM 같은 전통적 모델이 더 견고하게 작동한다는 결론을 도출했다.

아벨레이션 실험에서는 (1) 교차‑모달 어텐션 제거 → 성능 6‑12 % 감소, (2) 다중‑헤드 → 단일‑헤드 전환 → 캘리브레이션 오류 증가, (3) MC dropout 비활성화 → 불확실성 추정 손실 및 전체 정확도 2‑3 % 감소 등을 확인했다. 이러한 결과는 각 구성 요소가 상호 보완적으로 작용함을 입증한다.

전반적으로 이 논문은 (1) 물리적 센서 특성을 고려한 맞춤형 어텐션 설계, (2) 불확실성 정량화를 통한 실무 적용 가능성, (3) 데이터 불균형에 따른 모델 선택 가이드라인을 제공한다는 점에서 인프라 NDE 분야에 중요한 기여를 한다. 향후 연구는 클래스 불균형 완화 기법(예: 비용 민감 학습, 합성 소수 클래스 생성)과 실시간 온‑디바이스 추론 최적화를 통해 현장 적용성을 높이는 방향으로 진행될 수 있다.