강화된 교사 네트워크 기반 무지도 이상 탐지

초록

본 논문은 ResNet‑18 기반의 교사(Teacher) 네트워크를 MVTec‑AD 데이터셋으로 추가 미세조정(fine‑tuning)하여 성능을 향상시킨 뒤, 동일 구조의 학생(Student) 네트워크와 피라미드 형태로 특징을 매칭하는 Student‑Teacher Feature Pyramid Matching(ET‑STPM) 프레임워크를 제안한다. 이미지‑레벨 AUC 0.97, 픽셀‑레벨 AUC 0.977을 기록하며 기존 STPM 및 기타 최신 방법들을 능가한다.

상세 분석

ET‑STPM은 기존 Student‑Teacher Feature Pyramid Matching(STPM) 구조에 교사 모델의 사전학습과 도메인‑특화 미세조정을 결합한 점이 핵심이다. 먼저 ImageNet으로 사전학습된 ResNet‑18을 MVTec‑AD의 정상·비정상 이미지(15개 클래스)로 2~3 epoch 정도 추가 학습시켜 교사 네트워크의 특징 추출 능력을 도메인에 맞게 조정한다. 이때 마지막 Fully‑Connected 레이어만 새롭게 초기화하고, 전체 파라미터를 해제해 전체 네트워크를 재학습함으로써 “약간의 과적합”을 의도한다. 교사 네트워크는 고정된 파라미터를 유지한 채 학생 네트워크에 입력되어, 각 레벨(첫 3 블록)에서 피라미드 형태로 특징 맵을 추출한다. 학생 네트워크는 동일 구조이지만 무작위 초기화된 가중치를 사용해 교사의 특징과 L1‑norm 및 코사인 유사도 기반 손실을 최소화하도록 학습한다.

핵심 아이디어는 교사가 비정상 패턴을 사전에 학습함으로써 학생이 재현하기 어려운 특징 차이를 만들고, 이 차이를 이상 점수로 활용한다는 점이다. 결과적으로 기존 STPM 대비 교사‑학생 간 차이가 확대돼 이상 탐지 신뢰도가 상승한다. 실험에서는 이미지‑레벨 AUC 0.97, 픽셀‑레벨 AUC 0.977을 달성했으며, GANomaly(0.76), L2‑AE(0.75), ITAE(0.84), SPADE(0.85) 등과 비교해 10~20%p 상승을 보였다.

하지만 몇 가지 한계도 존재한다. 첫째, 교사 네트워크를 비정상 샘플을 포함한 전체 데이터셋으로 미세조정하는 과정은 “무지도”라는 전제와 모순될 위험이 있다. 비정상 샘플이 학습에 사용되면 교사가 이상 패턴을 정상으로 인식하게 될 가능성이 있다. 둘째, 실험 설정이 100% 학습 정확도를 목표로 하는 분류 태스크를 포함하고 있어, 실제 이상 탐지 시나리오와의 격차가 크다. 셋째, 모델 파라미터와 학습 스케줄(에포크 수, 학습률 등)에 대한 상세 ablation이 부족해 재현성이 낮다. 넷째, 평가가 MVTec‑AD 하나의 데이터셋에만 국한돼 일반화 능력을 검증하지 못했다. 마지막으로, 교사‑학생 구조 자체는 기존 STPM과 거의 동일하므로, 진정한 혁신이라기보다는 “교사 미세조정”이라는 작은 트릭에 머물러 있다.

향후 연구에서는 (1) 비정상 샘플을 전혀 사용하지 않는 교사 사전학습 전략, (2) 다양한 산업용 데이터셋에 대한 교차‑도메인 검증, (3) 교사‑학생 간 차이를 정량화하는 새로운 손실 함수 설계, (4) 메모리·연산 효율성을 고려한 경량화 모델 개발 등을 통해 현재 접근법의 한계를 보완할 수 있을 것이다.