다중전문가 기반 지속적 이상 탐지 프레임워크 MECAD

초록

MECAD는 패치‑레벨 메모리와 코어셋 선택을 활용한 다중전문가 구조로, 새로운 객체 클래스를 순차적으로 도입하면서도 기존 지식을 유지한다. 유사도 기반 전문가 할당과 제한된 재생 버퍼를 통해 전체 모델 재학습 없이 5개의 전문가 구성에서 평균 AUROC 0.8259를 달성하고, 단일전문가 대비 망각 감소 효과를 보인다.

상세 분석

본 논문은 산업 현장의 제품 라인이 지속적으로 변하는 상황을 가정하고, 이상 탐지 모델이 매번 전체 재학습 없이 새로운 클래스에 적응하도록 설계된 MECAD 프레임워크를 제안한다. 핵심 아이디어는 고정된 수(N)의 전문가(E₁…E_N)를 두고, 각 전문가가 특정 객체군에 특화된 패치‑레벨 메모리 뱅크를 유지하도록 하는 것이다. 입력 이미지에서 WideResNet‑50 백본을 이용해 32×32 패치 단위의 특징을 추출하고, 이를 고차원 임베딩 공간에 저장한다. 저장 과정에서 전체 패치 집합을 코어셋 알고리즘(Online Coreset Selection)으로 압축해 메모리 사용량을 크게 줄이면서도 대표성을 유지한다.

전문가 할당은 새로운 클래스가 등장할 때마다 해당 클래스의 임베딩 중심과 각 전문가 메모리 중심 간 코사인 유사도를 계산한다. 유사도가 사전 정의된 임계값 θ(=0.9) 이상이면 가장 높은 유사도를 보인 전문가에 할당하고, 그렇지 않으면 아직 할당되지 않은 빈 전문가에 배정한다. 이 방식은 클래스 간 내재된 유사성을 자동으로 탐지해 전문가 간 중복을 최소화하고, 유사한 클래스가 같은 전문가에 모여 전문화 효과를 극대화한다.

전문가 업데이트는 할당된 전문가만 수행한다. 새로운 클래스의 패치 임베딩과 해당 전문가가 과거에 담당했던 클래스들의 재생 버퍼 샘플을 혼합해 메모리를 갱신한다. 재생 비율은 0.2로 고정해 안정성(기존 지식 보존)과 가소성(새로운 지식 흡수) 사이의 균형을 맞춘다. 이때 재생 샘플은 무작위 추출이지만, 코어셋으로 미리 선별된 핵심 패치를 사용함으로써 메모리 효율성을 유지한다.

추론 단계에서는 테스트 이미지의 패치를 할당된 전문가의 메모리와 최근접 이웃 거리로 비교해 패치‑레벨 이상 점수를 산출하고, 이미지‑레벨 점수는 최대 패치 점수로 정의한다. 다중 전문가가 병렬로 동작하므로 실시간 요구사항을 크게 저해하지 않는다.

실험은 MVTec‑AD 데이터셋(15개 카테고리, 5,354 이미지)을 사용해 연속 학습 프로토콜을 적용하였다. 전문가 수를 18개로 변동시키며 AUROC와 망각 정도를 측정했는데, 5개 전문가 구성이 평균 AUROC 0.8259와 망각 감소(−0.1396)라는 최적의 트레이드오프를 보였다. 전문가 수가 4개를 초과하면 AUROC는 0.8230.824 수준으로 수렴하지만, 망각 감소는 전문가 수가 늘어날수록 지속적으로 개선된다. 클래스별 분석에서는 leather, bottle 등 일부 클래스는 전문가 수와 무관하게 높은 AUROC(>0.95)를 기록했으며, screw, transistor 등은 여전히 낮은 성능을 보여 향후 특화된 전처리나 데이터 증강이 필요함을 시사한다.

전체적으로 MECAD는 (1) 전문가 간 특화와 메모리 분산을 통한 망각 완화, (2) 코어셋 기반 메모리 압축으로 저장 효율성 확보, (3) 유사도 기반 동적 할당으로 새로운 클래스에 대한 빠른 적응이라는 세 축을 성공적으로 결합하였다. 다만, 전문가 수가 고정돼 있어 매우 많은 신규 클래스가 지속적으로 추가될 경우 전문가 포화 문제가 발생할 수 있으며, 임계값 θ와 메모리 예산 설정에 대한 민감도 분석이 추가로 필요하다.