메타학습 강화학습 기반 암호화폐 수익 예측 모델

초록

본 논문은 메타학습과 강화학습을 결합한 트랜스포머 기반 프레임워크인 Meta‑RL‑Crypto를 제안한다. 단일 LLM이 Actor, Judge, Meta‑Judge 역할을 순환하면서 온‑체인 데이터, 뉴스, 소셜 감성을 멀티모달 입력으로 활용하고, 다중 목표 보상 벡터를 통해 자체적으로 정책과 평가 기준을 지속적으로 개선한다. 실험 결과, 비트코인·이더리움·솔라나에 대해 다양한 시장 상황에서 기존 LLM 기반 베이스라인보다 높은 수익과 샤프 비율을 달성하였다.

상세 분석

Meta‑RL‑Crypto는 기존 금융 LLM 연구의 두 가지 핵심 한계를 동시에 해결하려는 시도로 눈에 띈다. 첫째, 인간 라벨에 대한 의존도를 최소화하기 위해 자체 생성된 선호 데이터와 보상 신호를 이용한다는 점이다. 여기서 Actor는 온‑체인 메트릭(거래량, 지갑 수, 가스 비용 등)과 오프‑체인 뉴스·감성 정보를 구조화된 프롬프트로 변환해 다음 날 가격을 예측한다. 둘째, Judge와 Meta‑Judge가 다중 목표 보상(수익, 샤프 비율, 드로우다운, 유동성, 감성 정렬)을 각각 평가·집계함으로써 단일 지표에 의한 보상 해킹을 방지한다. 특히 보상 채널을 코사인 유사도로 감성 정렬을 측정하는 부분은 텍스트 기반 설명과 거래 행동을 연결하는 신선한 접근이다.

기술적으로는 Llama‑7B를 기반으로 한 트랜스포머를 사용하고, 후보 예측 K개를 nucleus sampling으로 생성한 뒤 Elo‑기반 점수 체계로 Judge의 선호 데이터를 정제한다. Meta‑Judge는 DPO 스타일 손실을 통해 두 후보 보상 벡터 간 선호 확률을 학습하고, 이를 Judge에게 전이시켜 평가 효율을 높인다. 이러한 삼중 루프 구조는 강화학습의 지연 보상 문제를 선호 기반 비교로 변환해 샘플 효율성을 크게 향상시킨다.

실험 설계는 2025년 실제 가격 데이터를 사용해 베어, 사이드웨이, 불리시 세 가지 시장 레짐을 각각 BTC, ETH, SOL에 적용하였다. 포트폴리오 초기 자산 1백만 달러를 50% 현금·50% 암호화폐 비중으로 시작해 일일 재조정을 수행했으며, 거래 수수료와 슬리피지를 현실적인 정규분포로 모델링했다. 결과는 Meta‑RL‑Crypto가 기존 GPT‑4, Gemini, DeepSeek, DMind 대비 베어 마켓에서 −8% 손실(다른 모델는 −12%~−22%)을 기록하고, 전체 샤프 비율 0.52 등 위험 조정 성과가 우수함을 보여준다. 또한 시장 관련성, 위험 인식, 적응형 근거 제공 측면에서도 0.8 이상 점수를 받아 해석 가능성에서도 우위를 점한다.

하지만 몇 가지 한계도 존재한다. 첫째, 보상 채널의 가중치 ρ와 Elo 조정 파라미터 등 하이퍼파라미터가 실험에 크게 의존하며, 민감도 분석이 부족하다. 둘째, 멀티모달 입력을 프롬프트로 변환하는 과정이 인간 설계에 의존해 자동화 수준이 낮다. 셋째, 실험 기간이 2025년 한 해에 국한돼 있어 장기적인 구조 변화(예: 규제, 프로토콜 업그레이드)와의 일반화 검증이 부족하다. 마지막으로, Meta‑Judge가 실제 인간 선호와 얼마나 일치하는지 검증되지 않아, 자기 강화 루프가 잠재적 편향을 증폭시킬 위험이 있다. 전반적으로 메타학습‑강화학습 결합이라는 혁신적 아이디어와 멀티모달 보상 설계는 암호화폐 트레이딩 AI 분야에 중요한 방향성을 제시하지만, 실용화 단계에서는 추가적인 안정성·투명성 검증이 필요하다.