2021世界人工智能大會于2021年7月8日至10日在上海世博中心和上海世博展覽館同時舉行。世界人工智能大會自2018年以來,已成功舉辦三屆。2021世界人工智能大會由國家發展和改革委員會、工業和信息化部、科學技術部、國家互聯網信息辦公室、中國科學院、中國工程院、中國科學技術協會,以及上海市人民政府共同主辦。
作為本屆世界人工智能大會承辦單位之一,數庫科技于7月9日下午舉辦以 “數據智能,鍊接未來” 主題分論壇,會中幻方量化合夥人徐進探讨了如何使用量化模型和深度學習在股市中賺錢的路徑。
*圖片來自數庫科技
徐進提到,與傳統股票定價不同,量化通過輸入獲取的信息,包括行情數據、上市公司财務數據,還有另類數據,比如新聞輿情、産業鍊等,進行模型訓練,利用深度學習對股票進行定價。
在徐進看來,在這個過程中,需要處理很多關鍵細節,細節是魔鬼!以時間序列預測模型為例,包括數據清洗、規劃處理、防止過拟合、 避免未來函數等,大量的細節決定了量化能否賺錢,并不是簡簡單單就能成功的。“隻要你對市場、數據充分了解之後,才能得出比較好的賺很多錢的結果。”徐進說道。
徐進提到,量化通過訓練模型、提升算力、提高集群使用效率等,來提升其深度學習能力,一定程度上在“薅”市場羊毛。但從另一個角度來看,量化對市場的正面影響很大。一是為市場提供流動性,平抑市場波動,二是提升市場的有效性,讓公司定價更為合理。三是和全球的對沖基金進行競争,提高本國的金融交易競争力。
下面是對幻方量化合夥人徐進在本次論壇演講内容的整理:
如何用Deep Learning為股票定價
這個模型所需的數據都是公開的,需要的算力也不是很大,一兩塊遊戲卡就能搞定。當然它不會支撐特别大的資金量。
*圖片來自幻方
首先這個模型的輸入是全市場股票的數據價格,這個模型隻用到了價格(當日的開高低收+均價)。
中間的圖片是一個最簡單的時間序列的預測模型——LSTM。如果你真的用心拿這個模型去做,最後你也是能賺錢的。但是,賺錢也還是前提的:細節是魔鬼!就是說上面這些你都做了,但是你還是要處理很關鍵的細節,而這些細節其實才是最終你能賺多少錢的一個核心問題。
拿數據清洗來說,為什麼要對數據進行清洗?上面的數據看上去也不是很複雜,也就是高開低收以及當日成交均價,但是這裡面會隐藏很多問題,比如有些股票是剛上市的新股等。再者是漲停、跌停的股票怎麼處理。有些股票波動異常,甚至被證監會點名有操縱的嫌疑,這些該怎麼處理?對于金融時序數據來說,噪音非常大,信噪比非常低。我們如果預先對一些數據進行處理,這對你的模型訓練會有很大的幫助。如果你什麼都不管,把數據直接丢給LSTM模型,基本上得不到好的結果,因為LSTM也不是神!
類似于這樣的細節後面還有很多,隻要你對市場、數據充分了解之後,才能得出較好的、賺更多錢的結果。
我們實際工作的模型
這是一個可以賺錢的實際的模型,我們也在用,但是這個模型并不能解決所有的問題,接下來介紹一下我們實際工作的模型。
*圖片來自幻方
第一行是行情數據,但是我們做了很多的處理。接下來有來自财報的數據、公告、新聞文本的信息,再有就是上下遊産業鍊,股票相關性的分析。把這些都輸入到多層感知器模型(MLP)我們才會得到一個支持大規模資金管理、交易的複雜模型。因為時間序列模型非常耗資源,數據量非常大,所有耗時會非常久!
我們用去年7月份發布的DGX-A100服務器跑完這個模型大約需要120天的時間,基本毫無意義～
*圖片來自幻方
那怎麼解決這個問題呢?
堆機器、堆算力
當然,不是簡單的堆,簡單的買!那麼,幻方是如何怎麼做的呢?
幻方螢火超算
一個超算和普通的數據機房是不太一樣的,因為它的單位面積算力能耗特别大,要處理的複雜問題比較多,并不是去租幾個IDC機房把機器放進去就能解決的。
目前螢火超算的硬件設施為:
625計算節點,5000張A100
200000GB顯存 414208GB内存
780 PFlop/s機器學習算力
28PB SSD存儲服務器
深度優化的BeeGFS文件系統
2.0TIB/s讀取性能
采用了現在全世界能買到的最貴的、速度最快的800口的交換機(水冷交換機),每節點IB互聯,200 Gbps傳輸帶寬。
算力對比
*圖片來自幻方
所有性能統計均基于TensorFloat-32格式理論算力值,Nvidia、Tesla超算性能數據均來自公開材料
圖片的右邊是特斯拉的Dojo原型機,左邊是螢火,中間是Nvidia的Selene超算,在今年一次的排名為全球第6。
因為目前螢火已經投入了使用,所以螢火在整個事件上比特斯拉超至少超前了半年的時間。因為A100的計算卡是去年7月份才發布,幻方是亞太地區第一批拿到此卡的人,因為當時A100還是挺難買的。
讀取速率和 IO500的對比
今年上半年繼續建造螢火的時候也遇到很多的問題,挖礦的人太多了, 買不到足夠的CPU和硬盤等等。
分布式存儲十分難做,關鍵是其讀取的速率。下圖(右邊)是現在全球IO500的存儲讀取速度榜單,第一名是中國鵬城實驗室,讀取速率最快。左圖是幻方的結果,可以看到圖上有個尖峰,是因為幻方每天早上6點鐘會做壓力測試,其讀取速率達到了2800GIB/s,實際訓練時已達到1800GIB/s。幻方現在的速率僅次于鵬城實驗室,下半年幻方宣布會去參與這個榜單的評比。
*圖片來自幻方
此外,包括集群如何調度,如何提高集群的使用效率,幻方做了很多事情。例如更新了很多針對計算卡做的庫,未來有可能都會對外發布。
成果
基于此,幻方的AUM從2015年5億增長到現如今的近1000億。同時,幻方還成立了自己的AI Lab,不僅僅用于自己做交易,還希望利用所有的算力集群和資源,未來能夠做一些基礎的科學研究,與高校、實驗室進行合作等等。
*圖片來自幻方
對于金融市場,量化投資的意義
為市場提供了流動性,平抑了市場的波動
提升市場的有效性,讓公司定價更為合理
與全球對沖基金競争
免責聲明：本文僅代表作者個人觀點，與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實，對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，若因作品内容、知識産權、版權和其他問題，請及時提供相關證明等材料并與我們聯系，本網站将在規定時間内給予删除等相關處理.
