유연 작업장 스케줄링을 위한 기억 강화 개선 휴리스틱

초록

본 논문은 유연 작업장 스케줄링(FJSP) 문제에 대해, 완전 해를 기반으로 하는 개선형 DRL 프레임워크인 MIStar를 제안한다. 이 프레임워크는 이종 이음 그래프와 메모리‑강화 이종 그래프 신경망(MHGNN)을 활용해 상태를 정밀히 표현하고, 과거 탐색 이력을 기억해 정책의 탐색 능력을 높인다. 또한 Nopt2 이웃 구조와 병렬 그리디 탐색을 결합해 적은 반복 횟수로 높은 품질의 해를 얻으며, 합성 데이터와 공개 벤치마크에서 기존 전통 휴리스틱 및 최신 구축형 DRL 방법들을 크게 능가한다.

상세 분석

MIStar는 기존 DRL 기반 개선 방법이 직면한 세 가지 핵심 난관—복잡한 상태 표현, 효율적인 정책 학습, 그리고 탐색 효율성—을 동시에 해결한다. 첫째, 기존의 이음 그래프는 기계 노드를 포함하지 않아 기계 할당 정보를 손실한다. 이를 보완하기 위해 저자들은 기계 노드와 방향성 하이퍼엣지를 추가한 이종 이음 그래프(heterogeneous disjunctive graph) 를 설계하였다. 이 그래프는 작업 순서와 기계 할당을 동시에 명시적으로 모델링함으로써, 완전 스케줄링 해를 정확히 표현한다.

둘째, 정책 네트워크는 메모리‑강화 이종 그래프 신경망(MHGNN) 으로 구현된다. MHGNN은 (1) 작업 노드와 기계 노드의 토폴로지와 순차 제약을 각각 인코딩하고, (2) 과거 탐색에서 저장된 해들의 임베딩을 메모리 모듈에 축적한다. 메모리에서 추출된 히스토리 임베딩은 현재 상태 임베딩과 결합되어, 정책이 지역 최적에 빠지는 현상을 완화하고, 보다 다양하고 유망한 이웃을 선택하도록 돕는다. 이와 같은 메모리 활용은 MARCO와 달리 연속적인 스케줄링 제약을 고려한 소프트 투표 방식 으로 구현돼, 복합 제약을 가진 FJSP에 적합하다.

셋째, 행동 공간은 Nopt2 이웃 구조 를 기반으로 정의된다. Nopt2는 크리티컬 패스상의 작업을 선택해 다른 호환 기계에 최적 삽입 구간을 찾아 재배치한다. 이 방식은 전통적인 N5 교환 연산보다 기계 할당까지 동시에 조정할 수 있어, 탐색 차원을 크게 줄인다. 또한 MIStar는 병렬 그리디 탐색 을 도입해, 한 단계에서 다수의 후보 행동을 동시에 평가하고 가장 좋은 행동을 선택한다. 이 병렬화는 GPU 가속을 활용해 탐색 시간을 크게 단축하면서도, 탐색 품질을 유지한다.

학습 측면에서는 MDP를 정의하고, 보상 함수를 이득 보상(gain) 과 중복 방문 패널티(penalty) 로 구성한다. 초기에는 makespan 감소에 집중하고, 개선이 둔화되면 패널티 비중을 높여 다양성을 촉진한다. 실험 결과, MIStar는 20~30% 수준의 makespan 감소를 달성하고, 기존 DRL 구축형 모델(예: GNN‑Construct)보다 적은 에피소드로 수렴한다. 특히 대규모 인스턴스(작업 100개, 기계 20대)에서도 전통적인 Tabu Search와 비교해 우수한 성능을 보이며, 메모리 모듈을 제거했을 때 성능 저하가 뚜렷이 나타나는 점에서 메모리 강화의 효과가 입증된다.

전반적으로 MIStar는 이종 그래프 기반 정확한 상태 표현, 히스토리 기반 강화 학습, 효율적인 이웃 탐색 라는 세 축을 결합해, FJSP와 같은 복합 제조 스케줄링 문제에 DRL을 적용하는 새로운 패러다임을 제시한다.