近日，量化平臺大家庭迎來了一位新成員，基于強(qiáng)化學(xué)習(xí)的開源平臺: TradeMaster— 交易大師。

TradeMaster 由南洋理工大學(xué)開發(fā)，是一個涵蓋四大金融市場，六大交易場景，15 種強(qiáng)化學(xué)習(xí)算法以及一系列可視化評價工具的統(tǒng)一的，端到端的，用戶友好的量化交易平臺！

平臺地址: https://github.com/TradeMaster-NTU/TradeMaster

背景介紹

近年來，人工智能技術(shù)在量化交易策略中正在占據(jù)越來越重要的地位。由于具有在復(fù)雜環(huán)境中突出的決策能力，將強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用于量化交易中任務(wù)存在巨大的潛力。然而金融市場的低信噪比和強(qiáng)化學(xué)習(xí)算法訓(xùn)練不穩(wěn)定的特點使得強(qiáng)化學(xué)習(xí)算法目前還無法大規(guī)模部署在真實金融市場中，具體挑戰(zhàn)如下:

1. 開發(fā)流程復(fù)雜，包含極大的工程量，難以實現(xiàn)
2. 算法性能高度依賴于測試時的市場狀態(tài)，風(fēng)險較高，難以系統(tǒng)評價
3. 算法的設(shè)計，優(yōu)化，和維護(hù)有存在較高的技術(shù)門檻，難以大規(guī)模部署。

TradeMaster 的發(fā)布為這個領(lǐng)域提供了一款軟件工具，一個行業(yè)基準(zhǔn)和一類工業(yè)級產(chǎn)品接口以解決上文中的三個挑戰(zhàn)。

TradeMaster 對于產(chǎn)學(xué)研用深度融合的潛在貢獻(xiàn)

TradeMaster 框架

TradeMaster 由六個核心模塊組成，包含了用于量化交易強(qiáng)化學(xué)習(xí)算法的設(shè)計，實現(xiàn)，測試，部署的完整流程，下面我們?yōu)榇蠹揖唧w介紹：

TradeMaster 平臺的框架結(jié)構(gòu)

數(shù)據(jù)模塊：TradeMaster 提供了長周期多模態(tài) (K 線和訂單流) 不同粒度 (分鐘級到日級) 的金融數(shù)據(jù)，涵蓋四個主要市場：中國，美國股和外匯。

預(yù)處理模塊：TradeMaster 提供了標(biāo)準(zhǔn)化的金融時序數(shù)據(jù)預(yù)處理的 pipeline，包含 6 個步驟：1. 數(shù)據(jù)清洗 2. 數(shù)據(jù)填充 3. 正則化 4. 自動特征發(fā)掘 5. 特征嵌入 6. 特征選擇

模擬器模塊：TradeMaster 提供了一系列的數(shù)據(jù)驅(qū)動的高質(zhì)量金融市場模擬器，支持 6 個主流量化交易任務(wù)：1. 貨幣交易 2. 資產(chǎn)組合管理 3. 日內(nèi)交易 4. 訂單執(zhí)行 5. 高頻交易 6. 做市

算法模塊：TradeMaster 實現(xiàn)了 7 個最新的基于強(qiáng)化學(xué)習(xí)的交易算法 ( DeepScalper，OPD，DeepTrader，SARL，ETTO，Investor-Imitator，EIIE ) 和 8 個經(jīng)典強(qiáng)化算法 ( PPO，A2C，Rainbow，SAC，DDPG，DQN，PG，TD3 )。與此同時，TradeMaster 引入了自動化機(jī)器學(xué)習(xí)技術(shù)來幫助用戶高效的調(diào)整訓(xùn)練強(qiáng)化學(xué)習(xí)算法的超參數(shù)。

評價模塊：TradeMaster 實現(xiàn)了 17 個評價指標(biāo)和可視化工具從收益能力，風(fēng)險控制，多樣性，可解釋性，魯棒性，通用型 6 個維度給出系統(tǒng)化的評價。以下是兩個例子：

表示收益能力，風(fēng)險控制，策略多樣性的雷達(dá)圖

金融時序數(shù)據(jù)可視化

運行流程偽代碼

TradeMaster 基于面向?qū)ο蟮木幊趟枷?，對不同功能模塊進(jìn)行封裝，實現(xiàn)了不同模塊之前的功能解偶和封裝，具有良好的可擴(kuò)展性和復(fù)用性，具體流程包含如下 6 個步驟：

測試結(jié)果

以道瓊斯 30 指數(shù)上的投資組合這一經(jīng)典任務(wù)為例，EIIE 算法在測試集上取得了穩(wěn)定的正收益和較高的夏普比：

TradeMaster 教程

TradeMaster 提供了一系列針對多個金融市場不同交易任務(wù)的強(qiáng)化學(xué)習(xí)算法教程，通過 Jupyter Notebook 的形式呈現(xiàn)以方便用戶快速上手：

詳情見：https://github.com/TradeMaster-NTU/TradeMaster/tree/1.0.0/tutorial