大數(shù)據(jù)的典型 應(yīng)用場景及展望

四年前的硅谷，風(fēng)投埃里森拿出一億美金來投資大數(shù)據(jù)公司，他認(rèn)為Hadoop技術(shù)在未來的若干年中會(huì)從底層的數(shù)據(jù)平臺(tái)，從傳統(tǒng)的關(guān)系型數(shù)據(jù)庫進(jìn)行遷移。數(shù)據(jù)的分析層會(huì)被全新的數(shù)據(jù)分析工具所替代，可視化層和應(yīng)用分析會(huì)有更多的新工具出現(xiàn)，并認(rèn)為這個(gè)市場將達(dá)到幾百億美金的規(guī)模。

過去幾年，Hadoop的發(fā)展非常迅猛。我們常講大數(shù)據(jù)的四V特征，Hadoop在大數(shù)據(jù)處理上表現(xiàn)出的處理量、性能、挖掘能力的提升和碎片化處理能力，使其得到越來越廣泛的應(yīng)用。

一、Hadoop的主流應(yīng)用場景：數(shù)據(jù)倉庫的主要組成部分

傳統(tǒng)的企業(yè)有若干個(gè)主機(jī)，用于銷售、運(yùn)營管理等等，產(chǎn)生的數(shù)據(jù)首先經(jīng)過ODS層，將數(shù)據(jù)從多個(gè)業(yè)務(wù)系統(tǒng)中集中起來，進(jìn)行清洗、轉(zhuǎn)換等集成操作，然后將過加工的數(shù)據(jù)進(jìn)入企業(yè)IT架構(gòu)的核心——數(shù)據(jù)倉庫進(jìn)行統(tǒng)計(jì)、挖掘和分析。最后用可視化工具進(jìn)行展現(xiàn)。這是傳統(tǒng)的企業(yè)數(shù)據(jù)倉庫的架構(gòu)，經(jīng)常采用主流的甲骨文等數(shù)據(jù)庫技術(shù)來實(shí)現(xiàn)。

Hadoop作為數(shù)據(jù)倉庫組成部分的四個(gè)驅(qū)動(dòng)力

互聯(lián)網(wǎng)公司早年的時(shí)候，是把Hadoop做在數(shù)據(jù)倉庫的核心，比如Facebook早期的時(shí)候是從服務(wù)器采集是通過實(shí)時(shí)的日志的采集工具，經(jīng)過Hadoop把Hadoop作為數(shù)據(jù)分析工具，呈現(xiàn)把結(jié)果放在甲骨文中做展現(xiàn)。

互聯(lián)網(wǎng)公司之所以這么做，是因?yàn)榛ヂ?lián)網(wǎng)數(shù)據(jù)量大到在傳統(tǒng)的數(shù)據(jù)庫不能處理?，F(xiàn)在傳統(tǒng)的企業(yè)也面臨同樣的問題，將Hadoop作為數(shù)據(jù)倉庫主要組成部分有四個(gè)驅(qū)動(dòng)力：

效率：傳統(tǒng)的數(shù)據(jù)倉庫技術(shù)已經(jīng)面臨非常繁重的數(shù)據(jù)分析任務(wù)，處理的延遲從一天到了一周。

成本：傳統(tǒng)的數(shù)據(jù)架構(gòu)成本動(dòng)輒幾千萬。Hadoop可以實(shí)現(xiàn)成本若干倍的降低。

數(shù)據(jù)來源多樣：視頻、音頻等企業(yè)非結(jié)構(gòu)化數(shù)據(jù)來源增多。MapReduce對于非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的讀取非常有效。

數(shù)據(jù)分析需求的演進(jìn)： 數(shù)據(jù)分析不再只滿足于統(tǒng)計(jì)。使用Hadoop的技術(shù)，能夠?qū)?shù)據(jù)進(jìn)行深度的挖掘和分析，實(shí)現(xiàn)對未來的預(yù)測。

Hadoop改變企業(yè)數(shù)據(jù)倉庫架構(gòu)的線路圖

第一步：數(shù)據(jù)倉庫的補(bǔ)充

2011、2012年的時(shí)候 Hadoop主要是作為數(shù)據(jù)倉庫的補(bǔ)充在做數(shù)據(jù)的清洗。這一層Hadoop很擅長。Hadoop的優(yōu)勢是能夠把計(jì)算任務(wù)對全要素進(jìn)行統(tǒng)計(jì)分析，這是方式非常適合簡單的場景，早年Hadoop的最佳用途是作為ETL的平臺(tái)。

第二步：逐漸進(jìn)入核心

隨著Hadoop生態(tài)系統(tǒng)逐漸完善，有更多的數(shù)字化工具支持Hadoop， Hadoop開始進(jìn)入數(shù)據(jù)倉庫的核心領(lǐng)域。有些企業(yè)開使用Hadoop來直接做數(shù)據(jù)可視化，在有些行業(yè)中已經(jīng)開始用Hadoop逐漸取代傳統(tǒng)的關(guān)系數(shù)據(jù)庫來建立數(shù)據(jù)倉庫。從整個(gè)的數(shù)據(jù)倉庫的架構(gòu)來看，有一半的架構(gòu)已經(jīng)開始被Hadoop覆蓋了。

第三步：Hadoop使資源管理變?yōu)榭赡?，最終將取代企業(yè)完整的整據(jù)倉庫

在一兩年之內(nèi)有些企業(yè)完整的數(shù)據(jù)倉庫架構(gòu)都可能會(huì)被Hadoop取代掉。

過去企業(yè)數(shù)據(jù)倉庫的時(shí)候任務(wù)很繁重，系統(tǒng)效率低下。造成這種狀況的重要原因是，客戶把過多的負(fù)載放在數(shù)據(jù)倉庫上面，數(shù)據(jù)倉庫本身又沒有資源配合的方式。

Hadoop2.0推出了管理框架，使得資源管理變成了可能，使得數(shù)據(jù)倉庫支撐多個(gè)部門的數(shù)據(jù)分析和訪問更加高效。舉例來說，每個(gè)部門的業(yè)務(wù)都是動(dòng)態(tài)創(chuàng)建虛擬集群實(shí)現(xiàn)的，每個(gè)集群都有一定的資源配額，這樣的配額用時(shí)不會(huì)超過這個(gè)配額，使得用戶任何的負(fù)載不會(huì)影響其他的用戶，這成為數(shù)據(jù)倉庫里一個(gè)重要的實(shí)現(xiàn)，數(shù)據(jù)倉庫完全平滑，24小時(shí)不間斷運(yùn)行的保障。過去上千人在訪問Hadoop的時(shí)候，也是通過調(diào)度機(jī)制實(shí)現(xiàn)的，隨著Hadoop2.0的出現(xiàn)和資源管理能力的提升，通過資源管理層可以方便的配置資源。

我們可以設(shè)定CPU的內(nèi)存和存儲(chǔ)資源，每個(gè)部門使用的時(shí)候有配額的最低保障。當(dāng)另外一個(gè)部門的用戶上線使用的時(shí)候，比如創(chuàng)建了一個(gè)集群，這時(shí)會(huì)把你的部分資源還給后面的第二個(gè)用戶，原來第一個(gè)用戶的資源被收縮了，更多的用戶進(jìn)來的時(shí)候，第一個(gè)用戶的資源被進(jìn)一步收縮，收縮到一個(gè)最低的指標(biāo)。一方面充分保障了每個(gè)用戶最低資源的配額，第二也保證系統(tǒng)整體運(yùn)行的情況下可以充分有效利用整體的計(jì)算資源。

二、隨著云計(jì)算和物聯(lián)網(wǎng)的逐漸興起，實(shí)時(shí)流數(shù)據(jù)的處理將成為關(guān)注重點(diǎn)

云計(jì)算和物聯(lián)網(wǎng)使得數(shù)據(jù)呈現(xiàn)兩個(gè)主要特點(diǎn)。首先，數(shù)據(jù)在沒有人工干預(yù)的情況下24小時(shí)不間斷的產(chǎn)生;第二數(shù)據(jù)并發(fā)量高，使得單一的統(tǒng)計(jì)已經(jīng)不能滿足用戶要求，對數(shù)據(jù)模式的分析和深度挖掘的要求增強(qiáng)

現(xiàn)在的大數(shù)據(jù)處理不光需要做統(tǒng)計(jì)，而是需要做機(jī)器學(xué)習(xí)，快速地檢測出異常的狀態(tài)。

比如在交通行業(yè)部署的實(shí)時(shí)監(jiān)控平臺(tái)，這是一個(gè)發(fā)展得比較成熟的案例，在全國已經(jīng)得到了廣泛部署。其主要用途是把路面上裝的攝像機(jī)的照片和分析出來的車牌等信息，實(shí)時(shí)的傳送到中心的大集群中，然后把所有的車流信息實(shí)時(shí)匯總至省級集群部署，通過流處理形成實(shí)時(shí)的應(yīng)用，比如說區(qū)間測速、實(shí)時(shí)路況、公安部實(shí)時(shí)布控的應(yīng)用等。相關(guān)數(shù)據(jù)也會(huì)進(jìn)入到數(shù)據(jù)庫，對外提供車輛軌跡的查詢，實(shí)時(shí)路況的檢索，比如行車分析和交通管理的應(yīng)用等。

過去在常見的部署架構(gòu)中由數(shù)據(jù)集群做實(shí)時(shí)的處理時(shí)，包括應(yīng)用和查詢的功能，數(shù)據(jù)會(huì)經(jīng)過蜂窩隊(duì)列，分布量是非常高的，單節(jié)點(diǎn)的服務(wù)器可以支撐一秒鐘十萬條結(jié)果的插入，基本上是滿負(fù)荷。

傳統(tǒng)的流處理加上Hadoop，可以解耦前端應(yīng)用和后端的分析應(yīng)用。由于分布隊(duì)列的吞吐量很高，可以在幾百萬個(gè)地方寫入，可以基本滿足上千萬傳感器同時(shí)傳送峰值的壓力，后端的是流處理的引擎做數(shù)據(jù)分析。

我們把數(shù)據(jù)流按時(shí)間切片，每個(gè)小切片一百毫秒左右。我們需要在數(shù)據(jù)經(jīng)過這個(gè)流的時(shí)候在流上直接做異常檢測，包括多種算法，最基本的是希望將這些算法直接移植到流上，實(shí)現(xiàn)流式的異常檢測。這里面有一個(gè)挑戰(zhàn)是，剛開始出現(xiàn)的異常可能并不準(zhǔn)確，盡量要避免誤報(bào)的情況，通常會(huì)用SQL來做聚合和預(yù)先的數(shù)據(jù)處理，而Spark可以實(shí)現(xiàn)小片的批處理流程，我們在小的批量上能夠?qū)崿F(xiàn)延遲是一秒鐘內(nèi)可以發(fā)出告警。

這種方式的好處是可以對實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)實(shí)現(xiàn)綜合的分析，都同在一個(gè)數(shù)據(jù)庫中，可以在上面用完整的統(tǒng)計(jì)分析的挖掘，包括可以做計(jì)算和預(yù)測，這些分析超出了以前統(tǒng)計(jì)的范疇，而且需要?dú)v史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行統(tǒng)一的分析。這個(gè)領(lǐng)域今年可能會(huì)是比較熱門的領(lǐng)域，預(yù)計(jì)這個(gè)模式在物聯(lián)網(wǎng)實(shí)時(shí)處理上得到更加廣泛的應(yīng)用。

三、大數(shù)據(jù)技術(shù)能給我們的生活帶來什么

我們把數(shù)據(jù)源分兩大類：

1.人的行為產(chǎn)生的數(shù)據(jù)：包括網(wǎng)上購物、通過運(yùn)營商通話、發(fā)微信都會(huì)留下數(shù)據(jù)，這些分析無外乎是給客戶提供更好的服務(wù)，或者是幫助商家更準(zhǔn)確的找到客戶進(jìn)行精準(zhǔn)營銷;

2.機(jī)器產(chǎn)生的數(shù)據(jù)：幫助發(fā)現(xiàn)一些客觀規(guī)律，比如說交通的模式是怎樣的，用電的消耗量和氣侯和電網(wǎng)的關(guān)系是怎樣的，也對數(shù)據(jù)進(jìn)行分析和能夠做實(shí)時(shí)報(bào)警和診斷優(yōu)化生產(chǎn)線的流程提供依據(jù)。

數(shù)據(jù)分析和挖掘開始出現(xiàn)，目前還不是主流。大數(shù)據(jù)描繪的場景是能夠進(jìn)行預(yù)測，這逐漸開始成為事實(shí)。

人流密度實(shí)時(shí)預(yù)警

比如通過對基站的數(shù)據(jù)基本上可以比較粗的定位人的大致位置。通過對數(shù)據(jù)進(jìn)行密度的統(tǒng)計(jì)，可以非常迅速的找出區(qū)域內(nèi)部密度的值，基礎(chǔ)值是每個(gè)基站每英里多少個(gè)用戶數(shù)，這是基站可以提供的數(shù)據(jù)，利用這個(gè)數(shù)據(jù)可以非常快的知道人群的密度。

也可以利用銀聯(lián)的數(shù)據(jù)，我們的合作伙伴用銀聯(lián)的數(shù)據(jù)把上海的商圈都找出來了，商圈是根據(jù)過去三個(gè)月銀聯(lián)的刷卡記錄，根據(jù)消費(fèi)額、消費(fèi)地點(diǎn)以及消費(fèi)商戶的類別進(jìn)行統(tǒng)計(jì)的，上海14個(gè)商圈是比較密集的，有些商圈我們也沒去過，比較偏遠(yuǎn)的反而是商圈。上海的架構(gòu)看基礎(chǔ)是衛(wèi)星城的架構(gòu)，和北京不同，周圍有很多密集的商圈。

這個(gè)數(shù)據(jù)也可以做人群的預(yù)測，商圈是人群密集的地方，隨著踩踏事件的出現(xiàn)，公安的客戶也來找到我們，發(fā)現(xiàn)這個(gè)數(shù)據(jù)對他們很有用，因?yàn)槲覀兛梢越y(tǒng)計(jì)節(jié)日間實(shí)時(shí)的刷卡記錄，可以判斷晚七點(diǎn)到九點(diǎn)消費(fèi)集中的區(qū)域，這些區(qū)域是人。

垃圾短信分類

利用流式的機(jī)器學(xué)習(xí)做垃圾短信的分類，在流上做實(shí)時(shí)的檢測，速度是非常快的，可以流上實(shí)時(shí)的實(shí)現(xiàn)。運(yùn)營商所有的短信經(jīng)過流式系統(tǒng)可以迅速的判斷出哪些消息是垃圾短信，來凈化現(xiàn)在運(yùn)營商的垃圾短信泛濫局面。

消費(fèi)者行為預(yù)測

機(jī)器學(xué)習(xí)類：協(xié)同過濾、相似度主要是比較商品間的相似程度進(jìn)行推薦，一些新的應(yīng)用也比較有趣，像是基于時(shí)序關(guān)系的預(yù)測。每次消費(fèi)行為和時(shí)間是有關(guān)的，一個(gè)人經(jīng)常跑到陸家嘴有一個(gè)明顯的地方，帶著小孩會(huì)去海洋公園玩一下，有時(shí)看東方明珠看一下，然后去正大廣場吃個(gè)午飯，這是統(tǒng)計(jì)出一個(gè)模式，這是時(shí)序相關(guān)性，我們可以對客戶推送一些比較精準(zhǔn)的廣告。

總結(jié)

我們看到Hadoop主要的用途是數(shù)據(jù)倉庫中，未來會(huì)逐漸的開始把更多的負(fù)載牽到上面來;第二物聯(lián)網(wǎng)逐漸的興起，針對一些挑戰(zhàn)我們需要在流上做更強(qiáng)的分析和機(jī)器學(xué)習(xí)，這種新的架構(gòu)也層出不窮;第三是全新的集群的應(yīng)用?？梢灶A(yù)見的是，隨著云計(jì)算和物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展，利用大數(shù)據(jù)的分析能力實(shí)現(xiàn)對未來的洞察將逐漸成為現(xiàn)實(shí)。