百度大數(shù)據(jù)應(yīng)用與實(shí)踐_數(shù)據(jù)分析師考試

百度基于海量的數(shù)據(jù)處理能力，利用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等手段建立模型，可以實(shí)現(xiàn)公眾生活的預(yù)測(cè)業(yè)務(wù)。目前，在百度預(yù)測(cè)產(chǎn)品中已經(jīng)推出了景點(diǎn)舒適度預(yù)測(cè)和城市旅游預(yù)測(cè)、高考預(yù)測(cè)、世界杯預(yù)測(cè)等服務(wù)。

　　以世界杯預(yù)測(cè)為例，在2014年巴西世界杯的四分之一決賽前，百度、谷歌、微軟和高盛分別對(duì)4強(qiáng)結(jié)果進(jìn)行了預(yù)測(cè)，結(jié)果顯示：百度、微軟結(jié)果預(yù)測(cè)完全正確，而谷歌則預(yù)測(cè)正確3支晉級(jí)球隊(duì);在小組賽階段的預(yù)測(cè)，谷歌缺席，微軟、高盛的準(zhǔn)確率也低于百度?？傮w來看，無論是小組賽還是淘汰賽，百度的世界杯結(jié)果預(yù)測(cè)中均領(lǐng)先于其他公司。最終，百度又成功預(yù)測(cè)了德國(guó)隊(duì)奪冠，如圖5所示。

圖5 百度世界杯預(yù)測(cè)

　　預(yù)測(cè)準(zhǔn)確度來自百度對(duì)大數(shù)據(jù)的強(qiáng)大分析能力和超大規(guī)模機(jī)器學(xué)習(xí)模型。在對(duì)體育數(shù)據(jù)的研究過程中，百度的科學(xué)家發(fā)現(xiàn)類似保羅章魚的賽事預(yù)測(cè)完全有可能借助大數(shù)據(jù)的分析能力完成。因此，百度收集了2010-2013年全世界范圍內(nèi)所有國(guó)家隊(duì)及俱樂部的賽事數(shù)據(jù)，構(gòu)建了賽事預(yù)測(cè)模型，并通過對(duì)多源異構(gòu)數(shù)據(jù)的綜合分析，綜合考慮球隊(duì)實(shí)力、近期狀態(tài)、主場(chǎng)效應(yīng)、博彩數(shù)據(jù)和大賽能力等5個(gè)維度的數(shù)據(jù)。最終實(shí)現(xiàn)了對(duì)2014年巴西世界杯的成功預(yù)測(cè)。

　　4.2.2 公共衛(wèi)生領(lǐng)域——疾病預(yù)測(cè)

　　通過百度搜索數(shù)據(jù)與醫(yī)療數(shù)據(jù)、醫(yī)保數(shù)據(jù)等關(guān)聯(lián)，并結(jié)合圖像識(shí)別和語(yǔ)音識(shí)別技術(shù)、可穿戴設(shè)備數(shù)據(jù)采集等，通過大數(shù)據(jù)分析與挖掘能力可以實(shí)現(xiàn)人群疾病分布關(guān)聯(lián)分析等。通過對(duì)大量臨床電子病歷、臨床經(jīng)驗(yàn)和科研成果等醫(yī)學(xué)信息數(shù)據(jù)進(jìn)行學(xué)習(xí)和理解，繪制人類疾病圖譜(人群分布)，并建立疾病分析模型和治療路徑模型。這也將極大推動(dòng)疾病研究、醫(yī)藥研發(fā)、藥品監(jiān)管、居民醫(yī)療服務(wù)和全民健康教育等事業(yè)發(fā)展。

　　百度與中國(guó)疾病預(yù)防控制中心(CDC)合作開發(fā)的疾病預(yù)測(cè)產(chǎn)品，基于對(duì)網(wǎng)民每日更新的互聯(lián)網(wǎng)搜索的分析、建模，實(shí)時(shí)反饋流感、手足口、性病、艾滋病等傳染病，糖尿病、高血壓、肺癌、乳腺癌等流行病的爆發(fā)數(shù)據(jù)，并預(yù)測(cè)疾病流行趨勢(shì)，是國(guó)家疾病控制機(jī)構(gòu)傳統(tǒng)監(jiān)測(cè)體系的有力補(bǔ)充。結(jié)合大數(shù)據(jù)輿情分析、公共衛(wèi)生危機(jī)事件預(yù)警產(chǎn)品，有效地融合非結(jié)構(gòu)化大數(shù)據(jù)，建立了基于互聯(lián)網(wǎng)的新興公共衛(wèi)生數(shù)據(jù)資源共享機(jī)制與服務(wù)價(jià)值鏈。

　　4.2.3 企業(yè)IT應(yīng)用——硬盤故障預(yù)測(cè)

　　百度全球有幾十個(gè)的數(shù)據(jù)中心或者內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)節(jié)點(diǎn)，擁有數(shù)十萬(wàn)臺(tái)服務(wù)器和數(shù)萬(wàn)臺(tái)交換機(jī)，200多萬(wàn)塊硬盤。這些硬盤的年報(bào)錯(cuò)率為4%~7%，月均硬盤故障超過1萬(wàn)起，占全部硬件故障的80%以上。百度通過大數(shù)據(jù)分析與機(jī)器學(xué)習(xí)技術(shù)，對(duì)9億條實(shí)例進(jìn)行采集處理，選取15萬(wàn)個(gè)訓(xùn)練樣本，監(jiān)控240個(gè)特征的實(shí)時(shí)變化，構(gòu)建預(yù)測(cè)模型，并通過機(jī)器學(xué)習(xí)的算法可以提前一天預(yù)測(cè)出硬盤故障并遷移數(shù)據(jù)，該系統(tǒng)可以節(jié)約帶寬70%、節(jié)約計(jì)算資源85%、節(jié)省服務(wù)器運(yùn)行消耗10%，每年節(jié)省1萬(wàn)多塊硬盤。如圖6所示，基于大數(shù)據(jù)實(shí)現(xiàn)硬盤故障預(yù)測(cè)的方法也可以用于實(shí)現(xiàn)行業(yè)硬件系統(tǒng)的運(yùn)維和管理中。

圖6 基于大數(shù)據(jù)的硬盤故障預(yù)測(cè)

　　4.2.4 企業(yè)IT應(yīng)用——智能化運(yùn)維

　　近年來百度在服務(wù)器規(guī)模、數(shù)據(jù)規(guī)模、單集群規(guī)模等方面出現(xiàn)爆發(fā)式增長(zhǎng)。百度服務(wù)器的規(guī)模近5年來增長(zhǎng)了15倍以上，達(dá)到數(shù)十萬(wàn)臺(tái)。數(shù)據(jù)規(guī)模已達(dá)到EB級(jí)別。在云計(jì)算和大數(shù)據(jù)時(shí)代，集群規(guī)模和數(shù)據(jù)量爆發(fā)式增長(zhǎng)，如何管理好云計(jì)算平臺(tái)、如何提供高質(zhì)量的服務(wù)，是云計(jì)算的核心問題之一。

　　為了應(yīng)對(duì)云計(jì)算和大數(shù)據(jù)應(yīng)用帶來的新的需求和挑戰(zhàn)，百度同樣利用大數(shù)據(jù)技術(shù)，把在線服務(wù)運(yùn)維轉(zhuǎn)向智能化管理模式，并走在了行業(yè)的前列。百度已經(jīng)建立起了六大數(shù)據(jù)倉(cāng)庫(kù)之一的運(yùn)維數(shù)據(jù)倉(cāng)庫(kù)，囊括了服務(wù)器、網(wǎng)絡(luò)、系統(tǒng)、程序、變更等各個(gè)方面的實(shí)時(shí)及歷史狀態(tài)數(shù)據(jù)，每天更新數(shù)據(jù)量接近100TB。

　　基于對(duì)運(yùn)維大數(shù)據(jù)的挖掘、對(duì)歷史數(shù)據(jù)的學(xué)習(xí)和異常模式識(shí)別，實(shí)現(xiàn)對(duì)流量數(shù)據(jù)的預(yù)測(cè)。通過對(duì)包括訪問速度、系統(tǒng)容量、帶寬、成本等在內(nèi)的10多個(gè)因子的實(shí)時(shí)自動(dòng)分析，實(shí)現(xiàn)了在眾多數(shù)據(jù)中心間的流量自動(dòng)調(diào)度，決策時(shí)間也由人工判斷的10幾分鐘大幅縮短到1min。這個(gè)系統(tǒng)的實(shí)際效果在故障中得到很好的檢驗(yàn)，例如系統(tǒng)在沒有人工介入的情況下智能地把流量調(diào)度到另外的數(shù)據(jù)中心，拒絕流量?jī)H有幾千個(gè)，避免類似故障可能造成數(shù)千萬(wàn)的流量損失。