實(shí)時(shí)股票分析系統(tǒng)的架構(gòu)與算法

如果能在一臺(tái)服務(wù)器上應(yīng)用人工智能和機(jī)器學(xué)習(xí)算法處理每天的股票交易，而自己則在夏威夷的海灘上享受生活，那將是多么愜意呀。雖然股票價(jià)格的變化受多種因素的影響，世上也沒有免費(fèi)的午餐，但是有些公司依然能夠借助于開源的機(jī)器學(xué)習(xí)算法和數(shù)據(jù)分析平臺(tái)得到“更好、更健康、更便宜的午餐”。本文搜集并整理了一些如何實(shí)現(xiàn)實(shí)時(shí)股票分析系統(tǒng)的資料，從架構(gòu)和算法兩個(gè)層面給出了一種可行的方案。

雖然股票交易市場一直在持續(xù)地變化，經(jīng)濟(jì)力量、新產(chǎn)品、競爭、全球性的事件、法規(guī)、甚至是Tweet都有可能引起市場的變動(dòng)，但是在這個(gè)市場上，使用不同的模型通過股票的歷史價(jià)格來預(yù)測未來的價(jià)格依然是一種常見的實(shí)踐。一個(gè)實(shí)時(shí)的股票分析系統(tǒng)不僅需要將影響股票價(jià)格的各種數(shù)據(jù)集合起來進(jìn)行分析，還需要具有響應(yīng)低延遲的特性，因而架構(gòu)必須是高可伸縮、高擴(kuò)展的，一方面隨著時(shí)間的流逝，系統(tǒng)將存儲(chǔ)越來越多的數(shù)據(jù)；另一方面數(shù)據(jù)處理應(yīng)用程序必須能夠通過添加更多的節(jié)點(diǎn)進(jìn)行水平擴(kuò)展以保持實(shí)時(shí)地響應(yīng)速度。

來自于Pivotal公司的企業(yè)應(yīng)用解決方案架構(gòu)師William Markito最近在公司的博客上發(fā)表了題為《實(shí)時(shí)股票預(yù)測系統(tǒng)開源參考架構(gòu)》的文章，介紹了一個(gè)通過開源技術(shù)實(shí)現(xiàn)實(shí)時(shí)股票分析系統(tǒng)的參考架構(gòu)。雖然該架構(gòu)關(guān)注于金融交易，但是也適用于其他行業(yè)的實(shí)時(shí)用例場景。William Markito首先從最頂層的視角，給出了一個(gè)高層架構(gòu)圖：

從最頂層的視角看，由預(yù)測模型驅(qū)動(dòng)的最優(yōu)化實(shí)時(shí)股票預(yù)測架構(gòu)包含數(shù)據(jù)存儲(chǔ)、模型訓(xùn)練、實(shí)時(shí)評(píng)估和采取行動(dòng)四部分：首先，進(jìn)入系統(tǒng)的實(shí)時(shí)交易數(shù)據(jù)必須被捕獲并存儲(chǔ)，作為歷史數(shù)據(jù)。第二，系統(tǒng)必須能從數(shù)據(jù)的歷史趨勢(shì)中學(xué)習(xí)，識(shí)別出影響決定的模式和概率。第三，系統(tǒng)需要能夠?qū)崟r(shí)地將新傳入的交易數(shù)據(jù)與從歷史數(shù)據(jù)中學(xué)到的模式和概率進(jìn)行比較。最后，系統(tǒng)還需要預(yù)測出輸出并決定所要采取的行動(dòng)。

之后，William Markito又使用Spring XD （現(xiàn)在稱為Spring Cloud Data Flow，是一個(gè)統(tǒng)一并且可擴(kuò)展的分布式系統(tǒng)，可用于數(shù)據(jù)抽取、實(shí)時(shí)分析、批量處理和數(shù)據(jù)導(dǎo)出場景）、Apache Geode （一個(gè)針對(duì)高可擴(kuò)展應(yīng)用程序的開源分布式內(nèi)存數(shù)據(jù)庫，目前正在孵化中）、Spark MLlib 、Apache HAWQ （一個(gè)Hadoop原生的大規(guī)模并行SQL分析引擎）以及Apache Hadoop?等開源組件對(duì)架構(gòu)中的每一部分進(jìn)行了細(xì)化：

如圖所示，整個(gè)數(shù)據(jù)流包含6步，每一部分都是松耦合并且可以水平擴(kuò)展的：

1. 使用Spring XD讀取并處理通過Yahoo! 金融Web服務(wù)API獲取到的實(shí)時(shí)數(shù)據(jù)，然后通過Apache Geode 將數(shù)據(jù)存儲(chǔ)在內(nèi)存中。
2. 使用 Apache Geode中的實(shí)時(shí)熱數(shù)據(jù)，通過Spark MLib應(yīng)用創(chuàng)建并訓(xùn)練模型，將新數(shù)據(jù)與歷史模式進(jìn)行比較。當(dāng)然，也可以使用其他工具集創(chuàng)建模型，例如 Apache MADlib或者R。
3. 將訓(xùn)練出的機(jī)器學(xué)習(xí)模型推送到部署好的應(yīng)用程序上，同時(shí)更新 Apache Geode以便于進(jìn)行實(shí)時(shí)預(yù)測和決策。
4. 隨著時(shí)間的推移，有一部分?jǐn)?shù)據(jù)將變成冷數(shù)據(jù)，將這一部分?jǐn)?shù)據(jù)從 Apache Geode移動(dòng)到Apache HAWQ上并最終存儲(chǔ)到Apache Hadoop?中。
5. 周期性地基于整個(gè)歷史數(shù)據(jù)集重新訓(xùn)練并更新機(jī)器學(xué)習(xí)模型。這一步讓系統(tǒng)形成了一個(gè)閉環(huán)，當(dāng)歷史模式發(fā)生變化或者新的模式出現(xiàn)的時(shí)候，它會(huì)持續(xù)地更新和提升模型。

為了讓讀者能夠在自己的筆記本上運(yùn)行這一架構(gòu)，William Markito還給出了一個(gè)更為簡化的實(shí)現(xiàn)，該版本移除了長期的數(shù)據(jù)存儲(chǔ)組件Apache HAWQ和Apache Hadoop?。

該解決方案中的每一個(gè)組件都責(zé)任明確，支持?jǐn)U展并且能夠在云環(huán)境中運(yùn)行。那么除了架構(gòu)之外，針對(duì)影響股票價(jià)格的不同因素，應(yīng)該選擇哪些算法來訓(xùn)練模型并預(yù)測股票價(jià)格趨勢(shì)呢？

在SlideShare上LargitData的CEO David Chiu介紹了如何通過隱馬爾科夫模型（HMM）來預(yù)測股票價(jià)格，David Chiu認(rèn)為股票的歷史行為與當(dāng)前行為具有一定的相似性，明天的股票價(jià)格可能會(huì)遵循過去的某種模式：

另外，在Vatsal H. Shah 的網(wǎng)站上還有一個(gè)文檔介紹了Decision Stump 算法、線性回歸、支持向量機(jī)、Boosting 算法和基于文本分析的方法在股票預(yù)測領(lǐng)域的應(yīng)用，并對(duì)這些算法的預(yù)測結(jié)果進(jìn)行了比較。

除此之外，與上市公司相關(guān)的新聞動(dòng)態(tài)也會(huì)對(duì)股票價(jià)格造成影響，例如并購定增事項(xiàng)、公司領(lǐng)導(dǎo)人的離開等等，對(duì)于這一問題，新加坡的數(shù)據(jù)科學(xué)家Lim Zhi Yuan在SlideShare上分享了一些自己的經(jīng)驗(yàn)。Lim Zhi Yuan在該分享中研究了外部事件對(duì)于股票價(jià)格的影響，在分析時(shí)他分別通過線性模型和非線性模型兩種方法進(jìn)行了實(shí)驗(yàn)，線性模型采用了支持向量機(jī)（SVM）算法，非線性模型采用了深度神經(jīng)網(wǎng)絡(luò)模型。