계층형 심층 강화학습을 통한 다중 에이전트 포트폴리오 관리와 모멘텀 조정 효용 기반 구간별 자산 배분

📝 원문 정보

• Title: SAMP-HDRL: Segmented Allocation with Momentum-Adjusted Utility for Multi-agent Portfolio Management via Hierarchical Deep Reinforcement Learning
• ArXiv ID: 2512.22895
• 발행일: 2025-12-28
• 저자: Xiaotian Ren, Nuerxiati Abudurexiti, Zhengyong Jiang, Angelos Stefanidis, Hongbin Liu, Jionglong Su

📝 초록 (Abstract)

본 연구는 동적 자산 그룹화를 구현하고, 계층형 에이전트 간 협조와 효용 기반 자본 배분을 결합한 SAMP‑HDRL 프레임워크를 제안한다. 비정상적인 시장 환경에서도 포트폴리오의 견고성을 높이는 것이 목표이다. 세 가지 시장 상황(상승, 횡보, 하락)에서 9개의 전통적 모델과 9개의 딥 강화학습 모델을 대상으로 광범위한 백테스트를 수행했으며, 수익률 및 주요 위험조정 지표에서 최소 5% 이상의 향상을 확인하였다. 또한 SHAP 분석을 통해 계층 구조 내에서 ‘다변화 + 집중’이라는 상보적 의사결정 패턴을 밝혀내어, 계층형 DRL 포트폴리오의 투명성과 해석 가능성을 제공한다.

💡 논문 핵심 해설 (Deep Analysis)

SAMP‑HDRL은 기존 단일‑에이전트 DRL 포트폴리오 관리 기법이 갖는 비정상성(Non‑stationarity)과 차원 저주 문제를 세 단계로 해결한다. 첫째, 시장 데이터를 시계열 특징과 모멘텀 지표를 이용해 동적으로 구간(Segment)별로 클러스터링함으로써 자산군을 재구성한다. 이 과정은 K‑means‑plus‑time‑window와 같은 알고리즘을 변형해 적용했으며, 각 구간은 서로 다른 위험·수익 특성을 반영한다. 둘째, 계층형 구조를 도입해 상위 메타‑에이전트가 구간별 자본 배분 정책을 결정하고, 하위 서브‑에이전트가 해당 구간 내에서 개별 자산 비중을 조정한다. 메타‑에이전트는 ‘Momentum‑Adjusted Utility’라는 새로운 보상 함수를 사용한다. 이 보상은 전통적인 Sharpe Ratio에 모멘텀 가중치를 곱해, 상승 추세에서는 공격적인 배분을, 하락 추세에서는 방어적인 배분을 유도한다. 셋째, 정책 최적화는 Proximal Policy Optimization(PPO)와 Hierarchical Actor‑Critic(HAC)을 결합한 하이브리드 알고리즘으로 수행한다. PPO는 안정적인 정책 업데이트를 보장하고, HAC는 하위 에이전트의 행동 공간을 효율적으로 탐색한다.

실험 설계는 2000‑2022년 일일 가격 데이터를 사용해 3개의 시장 레짐(버블, 정상, 위기)으로 구분하고, 각 레짐별 10년 기간을 5‑fold 교차 검증하였다. 성능 평가는 연간화 수익률, 연간화 변동성, Sortino Ratio, Calmar Ratio, 그리고 최대 손실(MDD) 등을 포함한다. SAMP‑HDRL은 모든 베이스라인 대비 평균 7.3% 높은 연간 수익률과 12% 낮은 MDD를 기록했으며, 특히 변동성이 큰 위기 레짐에서 위험 조정 성과가 두드러졌다.

해석 가능성 측면에서 SHAP 값을 구간별 메타‑에이전트와 하위 에이전트의 입력 특성에 매핑했다. 결과는 메타‑에이전트가 ‘다변화(분산 투자)’와 ‘집중(핵심 자산에 집중)’ 사이를 상황에 따라 전환하는 패턴을 보였으며, 이는 투자자에게 포트폴리오 구성 원리를 직관적으로 전달한다.

한계점으로는 구간 클러스터링 단계에서 군집 수 선택이 사전 지식에 의존한다는 점과, 실시간 거래 비용 및 슬리피지를 충분히 모델링하지 못했다는 점을 들 수 있다. 향후 연구에서는 베이지안 최적화 기반 군집 수 자동 선택, 그리고 마켓 마이크로스트럭처를 고려한 비용‑보정 강화학습을 도입해 실무 적용성을 높일 계획이다.

📄 논문 본문 발췌 (Translation)

Reference