MVTec AD 2 산업용 이상 탐지를 위한 고난이도 데이터셋

초록

본 논문은 기존 MVTec AD·VisA 등에서 포화된 성능을 극복하고자, 8개의 실세계 산업 시나리오와 8,000여 장의 고해상도 이미지를 포함한 MVTec AD 2 데이터셋을 제안한다. 투명·반사 객체, 중첩·오버랩, 극소 결함, 조명 변화 등 다양한 난이도를 도입해 현재 최고 모델조차 평균 AU‑PRO 0.30이 60% 미만에 머무는 수준임을 보인다. 또한 조명 조건별 테스트 셋을 통해 분포 이동에 대한 강건성을 평가할 수 있는 공개 평가 서버를 제공한다.

상세 분석

MVTec AD 2는 기존 벤치마크가 갖는 두 가지 근본적인 한계를 해결한다. 첫째, 기존 데이터셋은 결함이 이미지 중심에 집중되는 경향이 있어 모델이 중앙 크롭이나 패딩에 의존하도록 만들었다. MVTec AD 2는 결함을 이미지 전역, 특히 가장자리까지 고르게 배치함으로써 경계 효과와 패딩 아티팩트에 대한 모델의 민감도를 직접 측정할 수 있게 한다. 이는 특히 현장 생산 라인에서 카메라 시야가 제한적이거나 객체가 프레임 경계에 위치할 때 중요한 평가 지표가 된다.

둘째, 조명 변화에 대한 평가가 거의 이루어지지 않았던 점을 보완한다. 각 시나리오마다 최소 네 가지 조명 조건(일반 조명, 백라이트, 다크필드, 고광량 스팟 라이트 등)을 제공하고, 테스트 단계에서는 훈련 시 보지 못한 조명 변형을 포함한 ‘mix’ 셋을 제시한다. 이렇게 설계된 분포 이동 테스트는 모델이 학습된 조명 프로파일에 과도하게 의존하는지를 드러내며, 실제 공장 환경에서 조명 노후화·기계 교체 등에 따른 성능 저하를 사전에 예측할 수 있게 한다.

데이터 규모와 해상도 역시 주목할 만하다. 2.6~5 메가픽셀의 고해상도 이미지는 작은 결함(수십 픽셀 이하)까지도 시각적으로 구분 가능하도록 하며, 이는 기존 256×256 수준의 다운샘플링 이미지와는 차원이 다르다. 고해상도는 메모리·연산 부담을 증가시키지만, 동시에 세밀한 픽셀‑정밀 라벨링을 통해 정량적 평가의 신뢰성을 크게 높인다.

논문은 7가지 최신 방법(PatchCore, RD, RD++, EfficientAD, MSFlow, SimpleNet, DSR)을 동일 프로토콜로 평가했으며, 모든 모델이 기존 데이터셋에서는 90% 이상 AU‑PRO를 기록했지만 MVTec AD 2에서는 53%~59% 수준에 머물렀다. 이는 현재 방법들이 ‘정상 데이터의 분포’를 메모리 혹은 임베딩 수준에서 잘 포착하더라도, 복합적인 조명·투명도·경계 조건을 동시에 다루는 데는 한계가 있음을 시사한다.

또한, 평가 서버를 통한 ‘테스트 전용 라벨 비공개’ 정책은 테스트 셋에 대한 과적합을 방지한다. 기존 연구에서는 종종 테스트 데이터를 하이퍼파라미터 튜닝에 활용해 결과를 과대평가했지만, MVTec AD 2는 공개된 예시 셋 외에 두 개의 비공개 셋을 운영함으로써 재현 가능하고 공정한 비교를 가능하게 한다.

이러한 설계는 향후 연구가 다음과 같은 방향으로 전개될 여지를 제공한다. (1) 멀티‑스케일 특징 추출 및 고해상도 메모리 효율화, (2) 조명 불변성 학습을 위한 데이터 증강·도메인 적응, (3) 투명·반사 표면에 대한 물리 기반 렌더링 혹은 광학 모델링을 결합한 하이브리드 접근, (4) 경계 영역에서의 정확한 라벨링을 활용한 손실 함수 설계 등이다. 결국 MVTec AD 2는 단순 ‘정밀도’가 아닌 ‘강건성’과 ‘실용성’이라는 새로운 평가 축을 제시함으로써, 산업 현장에 바로 적용 가능한 차세대 이상 탐지 알고리즘 개발을 촉진한다.