산업 결함 이해를 위한 다중전문가 적응형 MAU GPT

초록

MAU‑Set은 6개 산업 분야·35종 제품·100여 개 결함 클래스를 포괄하는 대규모 QA 기반 데이터셋이며, 이를 기반으로 제안된 MAU‑GPT는 Vision‑Language 모델에 AMoE‑LoRA라는 혼합 전문가 적응 모듈을 삽입해 일반 전문가와 이상‑전문가를 동시에 학습한다. 일반 샘플에는 입력‑조건 라우팅을 통해 다수의 저‑랭크 LoRA 전문가를 동적으로 선택하고, 이상 샘플에는 하이퍼네트워크가 결함 카테고리별 LoRA 파라미터를 실시간 생성한다. 실험 결과, MAU‑GPT는 기존 최첨단 방법들을 모든 도메인·태스크에서 크게 앞서며, 복합적인 결함 인식·추론 능력을 입증한다.

상세 분석

본 논문은 산업 현장의 복합적인 결함 인식 요구를 두 가지 차원에서 해결한다. 첫 번째는 데이터 차원이다. 기존 산업 결함 데이터셋은 특정 제품군(예: PCB, 전자 부품)이나 단일 결함 유형에 국한돼 있어 실제 생산 라인의 다양성을 반영하지 못한다. MAU‑Set은 6개 주요 산업(소비재, 전자 부품, 기계 부품, 건축 자재, 광학 검사 등)에서 35종 제품을 수집하고, 100여 개의 세부 결함 클래스를 정의한다. 특히 ‘Discriminative QA’와 ‘Open‑Ended QA’ 두 가지 질문 형식을 도입해 이진 분류부터 원인 추론·정밀 설명까지 5개의 난이도 단계로 태스크를 계층화했다. 이렇게 설계된 QA는 이미지‑텍스트 쌍을 풍부하게 제공함으로써 Vision‑Language 모델이 단순한 시각적 특징을 넘어 도메인 지식과 논리적 추론을 학습하도록 유도한다.

두 번째는 모델 차원이다. MAU‑GPT는 사전 학습된 대형 멀티모달 모델을 베이스로 하면서, 각 Transformer 블록에 AMoE‑LoRA 모듈을 삽입한다. AMoE‑LoRA는 크게 두 가지 전문가 흐름으로 구성된다. (1) 일반 전문가(G‑LoRA)들은 N개의 저‑랭크 LoRA 모듈을 가지고, 라우터 네트워크가 입력 임베딩을 기반으로 Softmax 가중치를 계산해 각 전문가의 기여도를 동적으로 조정한다. 이는 단일 LoRA에 비해 파라미터 효율성을 유지하면서도 다양한 도메인 특성에 대한 세분화된 표현 학습을 가능하게 한다. (2) 이상‑전문가(A‑LoRA)는 하이퍼네트워크를 통해 결함 카테고리(또는 샘플 수준)의 메타 정보를 입력받아 즉시 LoRA 파라미터를 생성한다. 사전에 모든 결함에 대한 전용 LoRA를 준비할 필요가 없으며, 미지의 결함에도 빠르게 적응할 수 있다. 두 흐름의 출력은 원래 모델 출력에 잔차 형태로 합산돼, 기본 사전 학습 지식은 보존하면서 도메인‑특화 정보를 추가한다.

학습 과정에서는 일반 샘플과 이상 샘플을 구분해 각각의 손실을 별도로 최적화한다. 일반 샘플은 라우팅 기반 G‑LoRA가 주도하고, 이상 샘플은 하이퍼네트워크‑A‑LoRA가 주도한다. 이렇게 함으로써 데이터 불균형 문제를 완화하고, 희귀 결함에 대한 민감도를 높인다. 실험에서는 MAU‑Set의 5개 태스크 전부에서 Top‑1 정확도, F1‑score, BLEU 등 다양한 메트릭을 사용해 기존 SOTA(예: MVTec‑AD, DeepPCB 기반 모델, 일반 VQA 모델)와 비교했으며, 평균 7~12%p 이상의 성능 향상을 기록했다. 특히 ‘In‑depth Understanding’과 같은 고난이도 Open‑Ended QA에서는 답변의 내용적 일관성과 전문성 측면에서 인간 전문가와 근접한 수준을 보였다.

이 논문의 주요 기여는 (1) 산업 현장의 복합 결함을 포괄적으로 다루는 대규모 QA 데이터셋 제공, (2) 일반·이상 전문가를 통합한 AMoE‑LoRA라는 파라미터 효율적 적응 메커니즘 제안, (3) 실험을 통한 모델의 범용성·전이성 검증이다. 한계점으로는 현재 하이퍼네트워크가 결함 카테고리 레이블에 의존한다는 점과, 라우터가 과도하게 특정 전문가에 편향될 가능성이 있다는 점을 들 수 있다. 향후 연구에서는 라우터 정규화 기법과 메타‑러닝 기반의 라벨‑프리 하이퍼네트워크를 도입해 더욱 자유로운 적응성을 확보할 여지가 있다.