안녕하세요, 모두의 연구소 블록체인 연구실입니다.

10월 27일 4회차 스터디에서 김호엽님이 발표하신 RL for Coin Portfolio Management 자료를 공유합니다. 이색적으로 딥러닝에 대한 내용을 다루어 주셨습니다. :)

Introduction

• 기존의 Machine Learning을 트레이딩에 접목하려는 시도는 대체로 가격이나 트렌드를 예측하는 방향으로만 연구됨
• price-prediction-based algorithms 은 예측의 정확도에 크게 좌우되며 무엇보다 미래의 시장 가격은 예측 자체가 어려운 것이 현실
• 기존의 강화학습을 Trading에 적용한 연구들도 하나의 single asset에 대해 discrete action 을 주는 것이 한계

Continuous action space on trading

• The Actor-critic Deterministic Policy Gradient Algorithms (by Silver, 2014)
• 최근 연구로 General purpose continuous deep RL framework가 개발되었으며, 논문의 목적은 단일 주식이 아닌 포트폴리오의 비중을, 실버교수님의 연구 결과인 Continuous action space로 설정해 학습하는 것

Things to skip

• Deterministic Policy Gradient
• Stochastic Online Batch Learning
• Calculating portfolio return, transaction cost, portfolio weights

Assumption

• Zero slippage
• No Market impact

Define Environment

• Environment : Bitcoin and others
  Bitcoin : 블록체인 기술을 이용한 암호화된 가상 화폐의 대표주자
  Top volume 11 개의 AltCoin을 사용했다고 하나 논문상 어떤 코인인지 밝히지 않음
  Bitcoin 및 Altcoin data 는 Poloniex exchange 에서!
• Time Horizon : T = 30 minutes, stacks 50 historical data (look back 25 hours)
• Input Features : High, Low, Close price data for each coin
  30분 마다 관찰하므로 t-1 시점 close price == t 시점 open price 이므로 open 생략

...

Figure가 굉장히 많은 관계로... 이하 자세한 내용은 아래 링크에서 확인해 주시길 ^^

https://drive.google.com/open?id=11XBq0T0EWYYlvcHy4ZGn8aElX_etcIV5oZgZIeOffAM

감사합니다.