작업배치 최적화를 위한 딥 강화학습 프레임워크

초록

본 논문은 크라우드소싱 플랫폼에서 작업자를 위한 개인화 추천과 요청자의 품질 목표를 동시에 만족시키는 작업배치 문제를 해결하기 위해 Deep Q‑Network(DQN)를 기반으로 한 강화학습 프레임워크를 제안한다. 작업자와 요청자의 이익을 각각 모델링한 두 개의 MDP와 DQN을 설계하고, 가변 크기의 작업 풀을 효과적으로 처리할 수 있는 상태 표현, Q값 계산식 개정, 전이 확률 및 미래 상태 예측 모듈을 도입하였다. 합성 데이터와 실제 크라우드소싱 데이터에 대한 실험에서 제안 방법이 기존 감독학습 기반 추천 시스템보다 높은 작업 완료율과 품질 향상을 달성함을 입증한다.

상세 분석

이 연구는 크라우드소싱 플랫폼의 핵심 운영 문제인 ‘작업 배치(task arrangement)’를 강화학습(MDP) 관점에서 재정의하고, 기존의 감독학습 기반 추천 모델이 갖는 몇 가지 근본적인 한계를 극복한다. 첫째, 작업자와 요청자의 목표가 서로 다르다는 점을 인식하고, 각각을 별도의 MDP(w)와 MDP(r)로 모델링한다. MDP(w)에서는 상태를 작업자의 최근 완료 이력과 현재 작업 풀의 특징으로 정의하고, 보상은 작업자가 제시된 작업을 수행했는지 여부(0/1)로 설정한다. 반면 MDP(r)에서는 작업자의 품질과 각 작업의 품질을 추가로 포함한 복합 상태를 사용하고, 보상은 실제 완료된 작업의 품질 향상값으로 정의한다. 이러한 이중 MDP 설계는 장기적인 플랫폼 수익(완료된 작업 수와 품질)과 단기적인 작업자 만족도를 동시에 최적화할 수 있게 한다.

두 번째 핵심 기여는 가변 크기와 순열 불변성을 가진 작업 풀을 효과적으로 인코딩하는 새로운 상태 표현이다. 작업자 특성 벡터와 작업 풀의 특성 행렬을 각각 임베딩한 뒤, 집합 연산(예: 평균 풀링 또는 어텐션 기반 집계)으로 하나의 고정 차원 상태 벡터로 변환한다. 이렇게 하면 작업 수가 변동해도 네트워크 입력 차원이 일정하게 유지되며, 작업 순서에 대한 불필요한 편향을 방지한다.

세 번째로, 전통적인 DQN은 모델‑프리 방식으로 전이 확률을 암묵적으로 학습하지만, 크라우드소싱 환경에서는 작업자 도착 시간, 작업 생성·소멸 등 외부 요인이 전이 공간을 매우 희소하게 만든다. 이를 해결하기 위해 논문은 전이 확률과 미래 상태를 별도의 예측 모듈(Future State Predictor)로 명시적으로 학습한다. 작업자 도착 분포와 작업 풀 변화 통계(새 작업 생성, 기존 작업 만료)를 이용해 다음 시점의 상태 확률분포를 추정하고, 이를 Q‑값 업데이트 식에 통합함으로써 학습 안정성과 수렴 속도를 크게 향상시킨다.

네트워크 학습 과정에서는 경험 재플레이 메모리를 두 개 운영한다(각 MDP 전용). 행동 선택 시 ε‑greedy 탐색과 함께 ‘Aggregator/Balancer’ 모듈이 두 Q‑값(Q_w, Q_r)을 가중합해 최종 행동을 결정한다. 이때 가중치는 플랫폼 정책에 따라 동적으로 조정 가능하도록 설계되어, 특정 시점에 작업자 만족을 우선시하거나 요청자 품질을 강조하는 전략 전환이 가능하다.

실험에서는 합성 데이터와 실제 크라우드소싱 서비스(Amazon MTurk, CrowdSpring) 로그를 사용해 베이스라인(k‑NN, Probabilistic Matrix Factorization, Supervised Ranking)과 비교하였다. 주요 평가지표는 작업 완료율, 평균 작업 품질, 플랫폼 총 수익이며, 제안 모델은 모든 지표에서 5%~15% 이상의 개선을 보였다. 특히 동적 환경(작업 급증, 작업자 급감)에서 실시간 업데이트 능력이 뛰어나, 기존 모델이 재학습 주기(하루)당 성능 저하를 겪는 반면, 제안 모델은 실시간 피드백을 통해 즉시 정책을 조정한다.

한계점으로는 두 개의 독립적인 DQN을 동시에 학습시키는 비용이 높으며, 전이 예측 모듈의 정확도가 전체 성능에 크게 영향을 미친다는 점을 들 수 있다. 또한, 작업자 행동을 ‘첫 번째 흥미로운 작업 선택’이라는 단순한 카스케이드 모델로 가정했기 때문에, 복합적인 다중 작업 선택 시나리오에는 추가적인 모델링이 필요할 것이다.

전반적으로 이 논문은 크라우드소싱 플랫폼의 실시간, 다목적 최적화를 위한 강화학습 적용 가능성을 실증적으로 보여주며, 상태 표현, 전이 모델링, 이중 목표 최적화라는 세 가지 기술적 혁신을 통해 기존 감독학습 기반 추천 시스템을 뛰어넘는 성과를 달성했다.