FT MoE: 지속 학습 기반 내결함성 컴퓨팅을 위한 혼합 전문가 모델

초록

본 논문은 에지 네트워크 환경에서의 동적 결함 탐지 및 분류 성능을 향상시키기 위해 FT-MoE라는 새로운 지속 학습 프레임워크를 제안합니다. 이 모델은 이질적인 결함 지식을 처리하는 혼합 전문가(MoE) 아키텍처와 작업 스케줄링 영향을 모델링하는 그래프 어텐션 네트워크를 이중 경로로 통합합니다. 또한, 오프라인 초기 훈련과 실시간 온라인 튜닝을 결합한 두 단계 학습 방식을 도입하여 변화하는 환경에 적응합니다. 제안된 모델은 새롭게 구축된 대규모 세분화 데이터셋에서 기존 최신 방법들을 능가하는 성능을 입증했습니다.

상세 분석

본 논문이 제안하는 FT-MoE 모델의 기술적 핵심은 크게 세 가지로 요약됩니다. 첫째, 이질적 지식 처리를 위한 혼합 전문가(MoE) 아키텍처입니다. 기존 단일 모델이 모든 유형의 결함을 동일한 파라미터로 학습함으로써 발생하는 한계를 극복하기 위해, 여러 전문가(Expert)를 두고 입력 데이터의 특성에 따라 동적으로 적절한 전문가를 선택(EA Gate) 및 활성화합니다. 특히 ‘Top-any’ 함수를 통해 각 입력이 활성화할 전문가의 수를 유동적으로 결정함으로써 계산 효율성과 표현력을 동시에 높였습니다.

둘째, 작업 스케줄링 맥락을 포착하는 스케줄 인식 그래프 인코더입니다. 에지 환경에서 작업의 마이그레이션은 호스트 상태에 직접적인 영향을 미칩니다. 본 연구는 스케줄링 결정을 호스트 간의 엣지로 간주하고, 그래프 어텐션 네트워크(GAT)를 활용하여 이러한 작업 전파 효과를 명시적으로 모델링합니다. 이는 결함 발생의 원인을 시스템 상호작용 측면에서 이해하려는 접근입니다.

셋째, 이 두 경로의 지식을 융합하는 교차 다중 헤드 어텐션(CMHA) 메커니즘입니다. MoE 경로에서 추출된 결함 특성 패턴과 그래프 인코더 경로에서 추출된 스케줄링 영향 패턴을 쿼리-키-값 구조로 상호 참조시킵니다. 이를 통해 “어떤 자원 이상 패턴이, 어떤 스케줄링 상황에서 특정 결함으로 이어지는가"라는 복합적인 인과 관계를 학습할 수 있는 기반을 마련했습니다.

마지막으로 지속 학습을 가능케 하는 두 단계 학습 전략은 실용적 측면에서 중요한 기여입니다. 오프라인 단계에서 다양한 시나리오 데이터로 모델을 충분히 훈련시킨 후, 실제 운영 환경에서 지속적으로 들어오는 데이터로 온라인 미세 조정(Online Tuning)을 수행합니다. 이는 고정된 모델이 시간이 지남에 따라 성능이 저하되는 ‘콘셉트 드리프트’ 문제를 완화하고, 모델의 수명과 현실 적응력을 획기적으로 향상시킵니다. 결론적으로 FT-MoE는 이질성, 동적성, 데이터 부족이라는 에지 결함 탐지의 3대 과제를 아키텍처와 학습 프레임워크 수준에서 종합적으로 해결하려는 혁신적인 시도입니다.