딥러닝 기반 주식 거래 전략의 실전 비교와 극한 시장에서의 성과 분석

초록

본 연구는 LSTM, CNN‑기반 시계열 모델, 강화학습 트레이더 등 세 가지 딥러닝 주식 거래 전략을 재구성하고, 장기간 저점 유지 상황을 가정한 시뮬레이션을 통해 성과를 비교한다. 결과는 악조건 시장에서도 딥러닝 알고리즘이 CSI 300 벤치마크의 지속적 손실을 상쇄할 수 있음을 보여주며, 특히 LSTM 전략이 가장 높은 수익률을 기록한다.

상세 분석

본 논문은 딥러닝을 활용한 주식 거래 전략을 크게 세 가지 패러다임으로 구분한다. 첫 번째는 시계열 예측에 특화된 LSTM(Long Short‑Term Memory) 모델로, 과거 가격과 거래량 데이터를 입력으로 받아 향후 수익률을 예측하고, 예측값에 기반해 포지션을 결정한다. LSTM은 장기 의존성을 학습하는 데 강점이 있어 변동성이 큰 시장에서도 비교적 안정적인 신호를 제공한다는 점이 핵심이다. 두 번째는 1‑차원 CNN(Convolutional Neural Network) 기반 모델이다. CNN은 지역적 패턴 인식에 강점이 있어, 가격 차트의 짧은 구간에서 나타나는 반복적인 형태(예: 헤드‑앤‑숄더, 삼각형)를 자동으로 추출한다. 논문에서는 다중 필터와 풀링 레이어를 활용해 특징 맵을 축소하고, 최종 전결합층에서 매수·매도·관망 신호를 출력한다. 세 번째는 강화학습(Deep Q‑Network, DQN) 기반 트레이더로, 에이전트가 환경(시장 데이터)과 상호작용하면서 보상(포트폴리오 가치 증감)을 최대화하도록 정책을 학습한다. 이 접근법은 전통적인 예측‑거래 파이프라인을 탈피해, 직접적인 행동 최적화를 목표로 한다는 점에서 차별적이다.

모델 재구성 과정에서 저자는 동일한 데이터 전처리 파이프라인을 적용했다. 데이터는 2005‑2020년 중국 CSI 300 지수 구성 종목의 일일 종가, 고가·저가·시가, 거래량 등을 포함하며, 결측치는 선형 보간, 정규화는 Z‑score 방식으로 수행했다. 학습‑검증‑테스트 분할은 시계열 순서를 유지하면서 70 %/15 %/15 % 비율로 나누었으며, 과적합 방지를 위해 조기 종료와 L2 정규화를 적용했다.

시뮬레이션 시나리오는 “벤치마크가 장기간 저점에 머무는 상황”을 가정한다. 구체적으로 2015‑2016년, 2018‑2019년, 2020‑2021년의 하락 구간을 선택해, 각 구간에서 초기 포트폴리오 가치를 1 백만 위안으로 설정하고, 일일 리밸런싱을 수행했다. 성과 평가지표는 누적 수익률, 샤프 비율, 최대 낙폭(Max Drawdown), 그리고 벤치마크 대비 알파(α) 등을 사용했다.

실험 결과는 세 모델 모두 CSI 300의 지속적 손실을 일정 부분 상쇄했으며, 특히 LSTM 전략이 평균 3.2 %의 초과 수익률과 1.45의 샤프 비율을 기록했다. CNN 모델은 변동성 포착에 강했지만, 과도한 매매 신호로 인해 거래 비용을 고려하면 실질 수익이 다소 낮았다. 강화학습 기반 트레이더는 초기 학습 단계에서 불안정한 행동을 보였지만, 장기적으로는 최대 낙폭을 12 % 이하로 억제하는 등 위험 관리 측면에서 장점을 보였다.

핵심 인사이트는 다음과 같다. 첫째, 시계열 특화 모델(LSTM)이 장기적인 추세 예측과 포지션 유지에 유리해, 극한 하락 시장에서도 안정적인 알파를 창출한다. 둘째, CNN은 짧은 구간 패턴 인식에 강하지만, 과잉 거래로 인한 비용을 최소화하기 위한 신호 필터링이 필요하다. 셋째, 강화학습은 위험 회피와 포트폴리오 최적화에 잠재력이 크지만, 학습 데이터의 다양성과 보상 설계가 성과에 큰 영향을 미친다. 마지막으로, 모든 모델이 동일한 데이터와 평가 프레임워크를 공유했음에도 불구하고, 모델 구조와 학습 목표에 따라 위험‑수익 프로파일이 크게 달라짐을 확인했다.