大數(shù)據(jù)分析的未來是怎樣的

本節(jié)探討未來的大數(shù)據(jù)分析的技術前景。

要探討的一件有趣的事情是在Apache Tez 之上實現(xiàn)機器學習算法。這里要解決的問題在于是否存在幫助實現(xiàn)迭代式機器學習的有向無環(huán)圖執(zhí)行器。主要的挑戰(zhàn)是停止/結束條件不能是靜態(tài)的，而只能在運行時。這一點已在最近由Eurosys 提出的Optimus 系統(tǒng)（Ke 等，2013）中探討過，該系統(tǒng)提供了一個在DryadLINQ 上實現(xiàn)機器學習算法的途徑。

另一件需要引起注意的有趣工作是來自斯坦福大學的Forge 系統(tǒng)（Sujeeth 等，2013）。Forge 提供了一種領域特定元語言（DSL），該語言允許用戶為不同領域指定DSL。DSL 概念（Chafi 等，2011）的引入可作為分布式系統(tǒng)的替代手段——這是從程序員以及高效實現(xiàn)的領悟中抽象出來的。Forge 也有為機器學習提供的特定DSL，稱作OptiML。Forge 既有單純的Scala 實現(xiàn)（用于原型機）也有高效并行的分布式實現(xiàn)，后者可以部署在集群環(huán)境（用于生產環(huán)境）。Forge 使用Delite 框架（Brown 等，2011）實現(xiàn)了后者的一部分。性能測試顯示，由Forge 在集群節(jié)點上自動生成的分布式實現(xiàn)相當于用Spark 實現(xiàn)的等價功能的40 倍性能，它也表達了Spark 仍然有優(yōu)化的可能性——這一點值得做更進一步的探討。

大數(shù)據(jù)方面的深度學習仍然是這一領域的圣杯。近期來自谷歌的論文顯示已取得一定進展（Dean 等，2012）。這篇論文展示了兩種訓練算法，多點同時隨機梯度下降算法和集群多節(jié)點L-BGFS，用于訓練深度神經(jīng)網(wǎng)絡。核心思想是共享參數(shù)服務器用于多模型副本并行訓練。盡管參數(shù)服務器在訓練時是共享的，分片本身也會成為單點故障。一個可能的改進是在它們之間覆蓋網(wǎng)絡，作為通信的對等集合查看參數(shù)服務器，就像OpenDHT 或Pastry。這樣參數(shù)服務器就實現(xiàn)了容錯，甚至提升了性能。

使用前面章節(jié)介紹過的七大任務的目的是需要描述為機器學習這類計算并識別在大數(shù)據(jù)世界里當前實現(xiàn)的差距。就任務6、7 的實現(xiàn)而言，它們之間在集成方面就有差距（在處理數(shù)據(jù)方面的整合工作上），可能要求馬爾科夫鏈的蒙特卡羅（MCMC）實現(xiàn)，正如在第1 章解釋過的。MCMC 在Hadoop上是出名的難以實現(xiàn)。Spark 可能是最理想的。類似的，任務7（比對問題）可能要求隱馬爾科夫模型（HMM）實現(xiàn)，這一點就是另一個領域的討論了——實現(xiàn)了隱馬爾科夫模型的大數(shù)據(jù)。應用包括圖像的重復數(shù)據(jù)刪除（比如，在Aadhaar 工程中——印度的身份項目，要求從存儲的數(shù)以億計的圖像中找出重復的照片）。

D-wave 量子計算機已被安裝在量子人工智能（AI）實驗室（由NASA、谷歌，以及大學空間研究協(xié)會聯(lián)合運行）。這一舉措的根本目的是用量子方法探討難以解決的問題（任務5）。谷歌還聘請了一些人工智能研究人員，比如Ray Kurzweil。這一系列的舉措的圣杯是量子機器學習，可能會有人使用這一術語。而它已被麻省理工學院的Seth Lyod 在量子計算國際會議中提出。他的工作是使用量子比特檢索（Qbit，量子比特）。在大數(shù)據(jù)集環(huán)境下它可以快速給出結果，同時又拋出了另外的有趣問題：隱私。量子比特不能在傳輸過程中窺探——窺探會影響量子比特狀態(tài)。當然這是一個值得深入探索的領域。

分析領域的另一項有趣進展是基于磁盤的單節(jié)點分析——與云/分布式的趨勢背道而馳。由GraphLab 的創(chuàng)建者發(fā)表的GraphChi 的論文（Kyrola 等，2012）提出了例證。GraphChi提供了一種處理磁盤上的大型圖的機制。對于Twitter-2010 圖型的三角形計數(shù)，它們表現(xiàn)為單節(jié)點低于90 分鐘的性能，而相同功能的Hadoop 實現(xiàn)卻要在一個分布式環(huán)境下的1400 個工作進程花費400 分鐘。GraphChi 采用一系列外存算法和并行滑動窗口的方式異步處理磁盤上的大型圖。2013 年10 月，在紐約的一次Strata 會議中，Sisense，一家小的初創(chuàng)公司，展示了他單節(jié)點10 秒鐘內處理10TB 數(shù)據(jù)的能力，而全部花費不到10,000 美元。探索GraphChi 在分布式環(huán)境中的應用會很有趣——它可能會提供快速處理巨型圖的能力。

另一個有趣的趨勢是大數(shù)據(jù)、移動設備和云端在物聯(lián)網(wǎng)（IoT）的支持下的整合。對于大數(shù)據(jù)架構/研究，這里蘊藏著巨大的機遇，因為通過物聯(lián)網(wǎng)有更多來自用戶的有效數(shù)據(jù)，同時還提供了數(shù)據(jù)分析的溫床。通過云端的大量大數(shù)據(jù)平臺，云端已與大數(shù)據(jù)做了很大程度上的整合。IoT 與大數(shù)據(jù)云的整合可能是一個可預見的趨勢。