마스크 기반 역지식 증류로 전역·국부 정보를 동시에 학습하는 이미지 이상 탐지

초록

본 논문은 지식 증류 기반 이상 탐지에서 발생하는 과도한 일반화 문제를 해결하기 위해 이미지‑레벨 마스크와 특징‑레벨 마스크를 결합한 ‘Masked Reverse Knowledge Distillation (MRKD)’ 방식을 제안한다. 정상 이미지에 임의 패치를 마스킹해 합성 이상을 만들고, 교사 네트워크의 정상 특징을 감독 신호로 사용해 학생 네트워크가 이상 특징을 정상으로 복원하도록 학습한다. 전역 정보를 강화하는 이미지‑레벨 마스크와 국부 정보를 보강하는 특징‑레벨 마스크가 상호 보완적으로 작용해 MVTec 데이터셋에서 이미지‑AUROC 98.9%, 픽셀‑AUROC 98.4%, AU‑PRO 95.3%라는 우수한 성능을 달성한다.

상세 분석

MRKD는 기존 지식 증류 기반 이상 탐지에서 ‘입력과 감독 신호가 동일’하다는 구조적 한계를 근본적으로 바꾸는 설계이다. 먼저 이미지‑레벨 마스킹(ILM) 단계에서 정상 이미지에 무작위 패치를 마스크하고, 이를 교사 네트워크에 입력해 ‘합성 이상 이미지’를 만든다. 교사 네트워크는 사전 학습된 WideResNet‑50을 고정 파라미터로 사용해 정상 이미지와 합성 이상 이미지 각각의 특징을 추출한다. 여기서 정상 이미지의 특징은 학생 네트워크가 복원해야 할 목표(감독 신호)이며, 합성 이상 이미지의 특징은 학생 네트워크의 입력으로 활용된다. 따라서 학생은 입력과 목표가 서로 다른 ‘복원’ 과업을 수행하게 되며, 이는 전역적인 이미지 컨텍스트를 이해하도록 강제한다.

하지만 ILM만으로는 국부적인 픽셀‑레벨 상관관계를 충분히 학습하기 어렵다. 이를 보완하기 위해 특징‑레벨 마스킹(FLM)을 도입한다. 학생 네트워크의 출력 특징 맵에서 무작위로 픽셀을 마스크하고, 간단한 생성 모듈(예: 1×1 Conv + ReLU)으로 마스크된 영역을 복원한다. 인접 픽셀들의 정보를 활용해 복원하도록 학습함으로써 국부적인 텍스처와 경계 정보를 강화한다. ILM과 FLM은 각각 전역·국부 정보를 담당하며, 두 마스크가 결합될 때 학생 네트워크는 ‘전역 의미 파악 + 국부 세밀 복원’ 능력을 동시에 갖춘다.

학습 손실은 주로 코사인 유사도 기반으로 정의되어, 복원된 특징이 교사의 정상 특징과 최대한 일치하도록 최적화한다. 또한 bottleneck 모듈을 통해 합성 이상 특징을 압축·정제함으로써 불필요한 잡음을 제거하고, 학생이 복원해야 할 목표를 명확히 한다.

실험에서는 MVTec AD 벤치마크의 15개 카테고드에 대해 이미지‑AUROC 98.9%, 픽셀‑AUROC 98.4%, AU‑PRO 95.3%를 기록했으며, 이는 기존 RD4AD, DRAEM, PatchCore 등 최신 방법들을 크게 앞선다. Ablation 연구에서는 ILM만 사용했을 때와 FLM만 사용했을 때의 성능 저하를 확인함으로써 두 마스크의 상호 보완성을 입증하였다. 또한 메모리·디코더·GAN 등 복잡한 구조를 요구하는 기존 재구성 기반 방법에 비해 MRKD는 교사·학생 두 네트워크와 간단한 생성 모듈만으로 구현이 가능해 연산 효율성에서도 장점을 가진다.

요약하면, MRKD는 (1) 입력‑감독 신호의 비동등성을 통해 과도한 일반화를 억제하고, (2) 전역·국부 정보를 동시에 학습함으로써 정밀한 이상 복원·탐지를 실현한다는 점에서 지식 증류 기반 이상 탐지 분야에 새로운 패러다임을 제시한다.