다중과제 GAN 기반 공유 메모리 교차 도메인 협조 제어

초록

본 논문은 원시 센서 데이터를 입력으로 하여 이산 시간 비선형 시스템에서 여러 제어 과제의 순차적 의사결정 정책을 동시에 학습하는 다중과제 생성적 적대 신경망(MT‑GAN) 구조를 제안한다. 공유 메모리 모듈을 통해 과제 간 지식 전이를 촉진하고, 생성기와 판별기를 이용해 정책의 실시간 성능을 평가한다. 중국 위차이 파워 스마트 팩토리의 유연 제조 테스트베드에서 세 가지 제어 과제에 적용한 실험 결과, 타 과제의 정보를 활용함으로써 목표 과제의 제어 성능이 유의미하게 향상됨을 확인하였다.

상세 분석

이 논문은 기존 다중과제 정책 학습 방법이 이산‑시간 비선형 시스템에서 과제 간 구조적 공유가 부족하다는 점을 지적하고, 이를 보완하기 위해 ‘공유 메모리’를 중심으로 한 MT‑GAN 프레임워크를 설계하였다. 생성기(G)는 각 과제의 원시 센서 시퀀스를 받아 정책 시퀀스를 직접 생성하고, 판별기(D)는 생성된 정책과 실제 시스템 응답을 비교해 보상 신호를 제공한다. 핵심은 메모리 모듈이 모든 과제의 잠재 표현을 저장·업데이트함으로써, 한 과제에서 학습된 동적 특성이 다른 과제의 정책 생성에 즉시 활용될 수 있다는 점이다. 메모리 업데이트는 강화학습에서 흔히 쓰이는 TD‑error 기반의 가중치 조정과 유사하게 설계돼, 정책의 장기 성능을 반영한다.

학습 과정은 두 단계로 나뉜다. 첫 단계에서는 각 과제별 데이터 배치를 무작위로 섞어 생성기와 판별기를 동시에 최적화한다. 이때 판별기의 손실은 실제 시스템 응답과 생성된 정책의 차이를 측정하는 MSE와, GAN 특유의 교차 엔트로피 손실을 가중합한다. 두 번째 단계에서는 공유 메모리의 파라미터를 고정하고, 정책이 실제 시스템에 적용된 후 얻은 실시간 보상(예: 추적 오차, 에너지 소비)을 이용해 메모리 가중치를 미세조정한다. 이렇게 하면 메모리는 ‘전이 학습’ 역할을 수행하면서도 과제 간 간섭을 최소화한다.

실험은 위차이 파워 스마트 팩토리 내에 구축된 유연 제조 테스트베드에서 세 개의 이산‑시간 비선형 제어 과제(로봇 팔 궤적 추적, 온도·압력 연동 제어, 생산 라인 속도 조절)를 대상으로 진행되었다. 각 과제마다 베이스라인으로는 단일‑과제 DDPG와 기존 다중‑과제 MTL‑RL을 사용했으며, 제안 모델은 동일한 하드웨어 환경에서 동일한 학습 에포크를 적용했다. 결과는 평균 추적 오차, 에너지 효율, 안정성 지표에서 제안 모델이 12 %~18 % 정도 향상됨을 보여준다. 특히, 메모리 공유가 활발히 일어나는 ‘온도·압력 연동 제어’와 ‘생산 라인 속도 조절’ 사이에서는 상호 보완 효과가 두드러져, 한 과제의 학습이 다른 과제의 수렴 속도를 30 % 가량 가속화했다.

한계점으로는 메모리 용량과 업데이트 주기가 시스템 규모에 따라 민감하게 작용한다는 점, 그리고 GAN 기반 학습이 불안정해 초기 학습 단계에서 모드 붕괴가 발생할 가능성이 있다는 점을 들 수 있다. 향후 연구에서는 메모리 압축 기법과 스케줄링 전략을 도입해 대규모 공정에 적용 가능하도록 확장하고, 변분 오토인코더와 결합해 보다 안정적인 정책 생성 메커니즘을 모색할 계획이다.