시맨틱 편차 기반 다중 브랜치 융합을 통한 비구조화 컨베이어 벨트 석탄 장면의 무감독 이상 탐지 및 위치 추정

초록

**
본 논문은 석탄 컨베이어 벨트와 같이 구조가 불규칙한 산업 현장에서 외부 물체(목재, 금속 등)의 존재를 무감독 방식으로 탐지하고 픽셀 수준으로 위치를 정확히 파악하는 새로운 프레임워크를 제안한다. 이를 위해 정상 이미지만으로 학습한 ‘CoalAD’ 벤치마크를 구축하고, 객체‑레벨 토큰 클러스터링, 전역 시맨틱 편차 기반 기여도 분석, 그리고 텍스처‑레벨 PatchCore 매칭을 결합한 3‑branch 융합 모델을 설계하였다. 실험 결과, 제안 방법은 기존 메모리‑기반·재구성‑기반·교사‑학생 기반 모델들을 크게 앞서며, 이미지‑레벨 및 픽셀‑레벨 모두에서 우수한 성능을 보였다.

**

상세 분석

**
본 연구는 기존 산업용 이상 탐지 모델이 전제하는 “정형화된 배경·안정적인 외관·제한된 변동성”이라는 가정을 깨뜨리는 비구조화 석탄 스트림 환경을 정확히 짚어낸다. 석탄과 광석이 무작위로 섞이고, 벨트 표면은 마모·오염·먼지 등으로 복잡한 텍스처를 보이며, 외부 물체는 저대비·변형·부분 가림 등으로 정상 영역과 시각적으로 거의 구분되지 않는다. 이러한 특성은 로컬 패치 기반 메모리 매칭이나 재구성 오차에 의존하는 기존 방법이 높은 위양성률과 낮은 검출률을 보이는 근본 원인이다.

제안된 프레임워크는 세 가지 상보적 단서를 동시에 활용한다. 첫 번째 객체‑레벨 브랜치는 DINOv2 기반 토큰을 이용해 정상 샘플을 전경(석탄·광석)과 배경(컨베이어 벨트)으로 클러스터링하고, 테스트 시 이 두 분포에 속하지 않는 토큰을 이상 객체 후보로 식별한다. 이는 전역적인 객체 구성을 파악함으로써 저대비·부분 가림 상황에서도 강인한 탐지를 가능하게 한다.

두 번째 시맨틱‑레벨 브랜치는 전역 CLS 토큰에 대한 가우시안 모델을 학습해 이미지‑레벨 이상 점수를 산출하고, 각 패치가 전체 시맨틱 편차에 기여하는 정도를 폐쇄형 해석적 기여도(ablative contribution) 방식으로 추정한다. 이 기여도 맵은 “시맨틱 편차가 어디서 발생했는가”를 직접적인 픽셀‑레벨 신호로 변환해, 전역적인 논리·구조 이상을 로컬화하는 데 기여한다.

세 번째 텍스처‑레벨 브랜치는 ResNet 기반 피처를 사용해 PatchCore와 유사한 최근접 이웃 매칭을 수행한다. 이는 미세한 질감·표면 결함을 포착하는 전통적인 메트릭 기반 접근을 유지하면서, 앞선 두 브랜치가 놓칠 수 있는 저레벨 변형을 보완한다.

세 브랜치의 출력은 확률적 가중합과 스무딩을 거쳐 최종 이상 맵을 생성한다. 이미지‑레벨 점수는 전역 시맨틱 편차와 함께, 위에서 얻은 로컬 맵의 공간적 집계값 및 텍스처‑레벨 점수를 결합해 다중 근거 기반 결정을 내린다. 이러한 설계는 “전역‑전달·로컬‑보강”이라는 원리를 구현해, 비구조화 환경에서도 높은 검출 정확도와 정밀한 위치 추정을 동시에 달성한다.

실험에서는 2,490장의 정상 학습 이미지와 1,754장의 테스트 이미지(그 중 943장이 이상 포함)로 구성된 CoalAD 벤치마크를 공개하였다. 기존 대표적인 메모리 기반(PatchCore, RD4AD), 재구성 기반(DRAEM), 교사‑학생 기반(EfficientAD) 등을 동일 조건에서 평가했으며, 제안 모델은 AUROC, AUPRO, pixel‑level IoU 등 모든 지표에서 4~12%p 이상의 절대적 향상을 기록했다. 특히 저대비·부분 가림 사례에서 객체‑레벨 토큰 클러스터링이 큰 기여를 함을 시각적 결과와 정량적 ablation을 통해 입증하였다.

또한, 각 브랜치의 독립적 기여를 분석한 ablation 실험에서, 시맨틱‑레벨 기여도 분석이 이미지‑레벨 AUROC를 2.3%p, 픽셀‑level IoU를 3.1%p 상승시키는 반면, 텍스처‑레벨 매칭은 미세 질감 이상 탐지에서 5%p 이상의 개선을 제공한다는 점을 확인했다. 전체 시스템은 DINOv2와 ResNet을 사전 학습된 상태 그대로 활용해 추가 학습 비용을 최소화했으며, 실시간 적용을 위한 추론 속도도 30fps 수준을 유지한다.

결론적으로, 본 논문은 비구조화 산업 현장의 특성을 정량화하고, 다중 레벨·다중 모달리티 융합을 통해 기존 방법이 한계에 부딪히던 상황을 극복한다는 점에서 학술적·산업적 의의가 크다. 공개된 CoalAD 데이터셋은 앞으로 유사한 비정형 환경 연구의 표준 베이스라인이 될 것으로 기대된다.

**