이미지 기반 스크랩 금속 오염도 자동 추정 시스템

초록

본 논문은 레일카 차량 하역 중 촬영된 고해상도 영상을 이용해 비금속 오염물 비율을 회귀 형태로 예측하고, 동시에 스크랩 등급을 분류하는 컴퓨터 비전 파이프라인을 제안한다. 다중 인스턴스 학습(MIL)과 다중 과제 학습(MTL) 구조를 활용해 레일카 전체를 하나의 “bag”으로 처리하고, Transformer 기반 백본(Swin‑Transformer)으로 장거리 컨텍스트를 포착한다. 실험 결과 MIL‑Swin 모델은 평균 절대 오차(MAE) 0.27 %와 R² 0.83을 달성했으며, MTL‑Swin은 오염도 MAE 0.36 %와 등급 분류 F1 0.79를 기록한다. 시스템은 실시간 추론, 신뢰도 점수, 운영자 검증 및 활성 학습 루프를 포함해 현장 적용 가능성을 입증한다.

상세 분석

본 연구는 스크랩 금속 산업에서 기존에 인간 검사관이 수행하던 비금속 오염물(Contamination) 판단을 자동화하고, 동시에 스크랩 등급(Class)을 분류하는 두 가지 과제를 하나의 통합 파이프라인으로 해결한다는 점에서 혁신적이다. 주요 기술적 기여는 다음과 같다.

1. 데이터 구조와 라벨링: 레일카 하역 과정에서 발생하는 연속적인 이미지 시퀀스를 “bag” 형태로 정의하고, 각 레일카(railcar)를 하나의 라벨(오염도 %)과 하나의 등급 라벨로 묶는다. 58 574개의 이미지(40대 카메라)와 2 000대 이상의 레일카에 대해 3명의 독립 검사관이 평균값을 취해 라벨을 부여했으며, 표준편차가 0.4 %를 초과하는 경우 재검증 절차를 두어 라벨 신뢰성을 확보하였다.

2. 멀티 인스턴스 학습(MIL): 레일카당 여러 “layer”(magnet grab) 이미지가 존재함에도 불구하고 라벨은 레일카 전체에만 존재한다는 레이블-인스턴스 불일치 문제를 MIL로 해결한다. 각 인스턴스는 백본(Transformer 또는 CNN)으로 특징을 추출하고, 어텐션 기반 가중치를 통해 bag‑level 표현을 만든 뒤 회귀 헤드에 입력한다. 실험에서는 Swin‑Transformer 기반 MIL이 MAE 0.27 %와 R² 0.83을 달성, 기존 CNN(EfficientNet, ResNet 등)보다 현저히 우수했다.

3. 멀티 태스크 학습(MTL): 오염도 회귀와 스크랩 등급 분류를 하나의 네트워크에서 공동 학습한다. 공유 백본 위에 회귀 헤드와 분류 헤드를 두고, 손실 함수 L = L_reg + λ·L_cls 로 최적화한다. λ는 검증 데이터에서 튜닝했으며, 이를 통해 두 과제 간 상관관계를 활용해 샘플 효율성을 높였다. Swin‑MTL 모델은 오염도 MAE 0.36 %와 등급 분류 F1 0.79를 동시에 달성, 단일‑태스크 모델 대비 전반적인 성능 향상을 보였다.

4. Transformer vs CNN: Grad‑CAM 분석에서 Transformer 기반 모델은 스크랩 금속 영역에 집중하고 먼지·조명 등 배경 노이즈를 무시하는 반면, CNN은 잡음에 민감하게 반응한다. 이는 장거리 컨텍스트를 포착하는 self‑attention 메커니즘이 복잡한 현장 이미지에서 중요한 특징을 추출하는 데 유리함을 시사한다.

5. 시스템 아키텍처와 운영: 실시간 추론을 위해 magnet‑railcar 검출 모듈이 영상 스트림을 레이어 단위로 세분화하고, 버전 관리된 ML 서비스가 bag‑level 추정값과 신뢰도 점수를 반환한다. 운영자는 UI를 통해 결과를 검토·수정하며, 수정 데이터와 불확실 사례는 활성 학습 파이프라인에 피드백되어 모델을 지속적으로 업데이트한다. 또한 모델 레지스트리와 실험 추적 시스템을 도입해 재현성과 배포 관리가 가능하도록 설계하였다.

6. 실험 설계와 평가: 데이터는 레일카 단위로 train/val/test를 분리해 정보 누수를 방지했으며, 회귀 평가는 MAE와 R², 분류 평가는 Accuracy, Precision, Recall, F1을 사용했다. CNN 기반 모델은 70 % 이하의 정확도에 머물렀지만, Swin‑Transformer는 78 % 이상의 정확도와 0.79의 F1을 기록, 장거리 의존성을 필요로 하는 스크랩 등급 구분에 특히 강점을 보였다.

7. 산업적 파급효과: 인간 검사관의 주관적 변동성을 0.2 % 수준으로 낮추고, 작업자 안전을 크게 향상시킨다. 또한 오염도 예측값을 EAF(전기 아크 퍼니스) 로드 플래닝에 직접 활용함으로써 에너지 소비와 CO₂ 배출을 감소시킬 수 있다.

전반적으로 본 논문은 현장 제약(불완전 라벨, 잡음 많은 이미지, 실시간 요구)을 고려한 데이터 파이프라인, 모델 설계, 운영 체계를 모두 포괄적으로 제시함으로써 스크랩 금속 산업에 실용 가능한 AI 솔루션을 제공한다.