百度大數(shù)據(jù)應用與實踐_數(shù)據(jù)分析師考試

百度基于海量的數(shù)據(jù)處理能力，利用機器學習和深度學習等手段建立模型，可以實現(xiàn)公眾生活的預測業(yè)務。目前，在百度預測產(chǎn)品中已經(jīng)推出了景點舒適度預測和城市旅游預測、高考預測、世界杯預測等服務。

　　以世界杯預測為例，在2014年巴西世界杯的四分之一決賽前，百度、谷歌、微軟和高盛分別對4強結(jié)果進行了預測，結(jié)果顯示：百度、微軟結(jié)果預測完全正確，而谷歌則預測正確3支晉級球隊;在小組賽階段的預測，谷歌缺席，微軟、高盛的準確率也低于百度?？傮w來看，無論是小組賽還是淘汰賽，百度的世界杯結(jié)果預測中均領先于其他公司。最終，百度又成功預測了德國隊奪冠，如圖5所示。

圖5 百度世界杯預測

　　預測準確度來自百度對大數(shù)據(jù)的強大分析能力和超大規(guī)模機器學習模型。在對體育數(shù)據(jù)的研究過程中，百度的科學家發(fā)現(xiàn)類似保羅章魚的賽事預測完全有可能借助大數(shù)據(jù)的分析能力完成。因此，百度收集了2010-2013年全世界范圍內(nèi)所有國家隊及俱樂部的賽事數(shù)據(jù)，構建了賽事預測模型，并通過對多源異構數(shù)據(jù)的綜合分析，綜合考慮球隊實力、近期狀態(tài)、主場效應、博彩數(shù)據(jù)和大賽能力等5個維度的數(shù)據(jù)。最終實現(xiàn)了對2014年巴西世界杯的成功預測。

　　4.2.2 公共衛(wèi)生領域——疾病預測

　　通過百度搜索數(shù)據(jù)與醫(yī)療數(shù)據(jù)、醫(yī)保數(shù)據(jù)等關聯(lián)，并結(jié)合圖像識別和語音識別技術、可穿戴設備數(shù)據(jù)采集等，通過大數(shù)據(jù)分析與挖掘能力可以實現(xiàn)人群疾病分布關聯(lián)分析等。通過對大量臨床電子病歷、臨床經(jīng)驗和科研成果等醫(yī)學信息數(shù)據(jù)進行學習和理解，繪制人類疾病圖譜(人群分布)，并建立疾病分析模型和治療路徑模型。這也將極大推動疾病研究、醫(yī)藥研發(fā)、藥品監(jiān)管、居民醫(yī)療服務和全民健康教育等事業(yè)發(fā)展。

　　百度與中國疾病預防控制中心(CDC)合作開發(fā)的疾病預測產(chǎn)品，基于對網(wǎng)民每日更新的互聯(lián)網(wǎng)搜索的分析、建模，實時反饋流感、手足口、性病、艾滋病等傳染病，糖尿病、高血壓、肺癌、乳腺癌等流行病的爆發(fā)數(shù)據(jù)，并預測疾病流行趨勢，是國家疾病控制機構傳統(tǒng)監(jiān)測體系的有力補充。結(jié)合大數(shù)據(jù)輿情分析、公共衛(wèi)生危機事件預警產(chǎn)品，有效地融合非結(jié)構化大數(shù)據(jù)，建立了基于互聯(lián)網(wǎng)的新興公共衛(wèi)生數(shù)據(jù)資源共享機制與服務價值鏈。

　　4.2.3 企業(yè)IT應用——硬盤故障預測

　　百度全球有幾十個的數(shù)據(jù)中心或者內(nèi)容分發(fā)網(wǎng)絡(CDN)節(jié)點，擁有數(shù)十萬臺服務器和數(shù)萬臺交換機，200多萬塊硬盤。這些硬盤的年報錯率為4%~7%，月均硬盤故障超過1萬起，占全部硬件故障的80%以上。百度通過大數(shù)據(jù)分析與機器學習技術，對9億條實例進行采集處理，選取15萬個訓練樣本，監(jiān)控240個特征的實時變化，構建預測模型，并通過機器學習的算法可以提前一天預測出硬盤故障并遷移數(shù)據(jù)，該系統(tǒng)可以節(jié)約帶寬70%、節(jié)約計算資源85%、節(jié)省服務器運行消耗10%，每年節(jié)省1萬多塊硬盤。如圖6所示，基于大數(shù)據(jù)實現(xiàn)硬盤故障預測的方法也可以用于實現(xiàn)行業(yè)硬件系統(tǒng)的運維和管理中。

圖6 基于大數(shù)據(jù)的硬盤故障預測

　　4.2.4 企業(yè)IT應用——智能化運維

　　近年來百度在服務器規(guī)模、數(shù)據(jù)規(guī)模、單集群規(guī)模等方面出現(xiàn)爆發(fā)式增長。百度服務器的規(guī)模近5年來增長了15倍以上，達到數(shù)十萬臺。數(shù)據(jù)規(guī)模已達到EB級別。在云計算和大數(shù)據(jù)時代，集群規(guī)模和數(shù)據(jù)量爆發(fā)式增長，如何管理好云計算平臺、如何提供高質(zhì)量的服務，是云計算的核心問題之一。

　　為了應對云計算和大數(shù)據(jù)應用帶來的新的需求和挑戰(zhàn)，百度同樣利用大數(shù)據(jù)技術，把在線服務運維轉(zhuǎn)向智能化管理模式，并走在了行業(yè)的前列。百度已經(jīng)建立起了六大數(shù)據(jù)倉庫之一的運維數(shù)據(jù)倉庫，囊括了服務器、網(wǎng)絡、系統(tǒng)、程序、變更等各個方面的實時及歷史狀態(tài)數(shù)據(jù)，每天更新數(shù)據(jù)量接近100TB。

　　基于對運維大數(shù)據(jù)的挖掘、對歷史數(shù)據(jù)的學習和異常模式識別，實現(xiàn)對流量數(shù)據(jù)的預測。通過對包括訪問速度、系統(tǒng)容量、帶寬、成本等在內(nèi)的10多個因子的實時自動分析，實現(xiàn)了在眾多數(shù)據(jù)中心間的流量自動調(diào)度，決策時間也由人工判斷的10幾分鐘大幅縮短到1min。這個系統(tǒng)的實際效果在故障中得到很好的檢驗，例如系統(tǒng)在沒有人工介入的情況下智能地把流量調(diào)度到另外的數(shù)據(jù)中心，拒絕流量僅有幾千個，避免類似故障可能造成數(shù)千萬的流量損失。