大數(shù)據(jù)的典型 應用場景及展望

四年前的硅谷，風投埃里森拿出一億美金來投資大數(shù)據(jù)公司，他認為Hadoop技術在未來的若干年中會從底層的數(shù)據(jù)平臺，從傳統(tǒng)的關系型數(shù)據(jù)庫進行遷移。數(shù)據(jù)的分析層會被全新的數(shù)據(jù)分析工具所替代，可視化層和應用分析會有更多的新工具出現(xiàn)，并認為這個市場將達到幾百億美金的規(guī)模。

過去幾年，Hadoop的發(fā)展非常迅猛。我們常講大數(shù)據(jù)的四V特征，Hadoop在大數(shù)據(jù)處理上表現(xiàn)出的處理量、性能、挖掘能力的提升和碎片化處理能力，使其得到越來越廣泛的應用。

一、Hadoop的主流應用場景：數(shù)據(jù)倉庫的主要組成部分

傳統(tǒng)的企業(yè)有若干個主機，用于銷售、運營管理等等，產(chǎn)生的數(shù)據(jù)首先經(jīng)過ODS層，將數(shù)據(jù)從多個業(yè)務系統(tǒng)中集中起來，進行清洗、轉換等集成操作，然后將過加工的數(shù)據(jù)進入企業(yè)IT架構的核心——數(shù)據(jù)倉庫進行統(tǒng)計、挖掘和分析。最后用可視化工具進行展現(xiàn)。這是傳統(tǒng)的企業(yè)數(shù)據(jù)倉庫的架構，經(jīng)常采用主流的甲骨文等數(shù)據(jù)庫技術來實現(xiàn)。

Hadoop作為數(shù)據(jù)倉庫組成部分的四個驅動力

互聯(lián)網(wǎng)公司早年的時候，是把Hadoop做在數(shù)據(jù)倉庫的核心，比如Facebook早期的時候是從服務器采集是通過實時的日志的采集工具，經(jīng)過Hadoop把Hadoop作為數(shù)據(jù)分析工具，呈現(xiàn)把結果放在甲骨文中做展現(xiàn)。

互聯(lián)網(wǎng)公司之所以這么做，是因為互聯(lián)網(wǎng)數(shù)據(jù)量大到在傳統(tǒng)的數(shù)據(jù)庫不能處理?，F(xiàn)在傳統(tǒng)的企業(yè)也面臨同樣的問題，將Hadoop作為數(shù)據(jù)倉庫主要組成部分有四個驅動力：

效率：傳統(tǒng)的數(shù)據(jù)倉庫技術已經(jīng)面臨非常繁重的數(shù)據(jù)分析任務，處理的延遲從一天到了一周。

成本：傳統(tǒng)的數(shù)據(jù)架構成本動輒幾千萬。Hadoop可以實現(xiàn)成本若干倍的降低。

數(shù)據(jù)來源多樣：視頻、音頻等企業(yè)非結構化數(shù)據(jù)來源增多。MapReduce對于非結構化或半結構化數(shù)據(jù)的讀取非常有效。

數(shù)據(jù)分析需求的演進： 數(shù)據(jù)分析不再只滿足于統(tǒng)計。使用Hadoop的技術，能夠對數(shù)據(jù)進行深度的挖掘和分析，實現(xiàn)對未來的預測。

Hadoop改變企業(yè)數(shù)據(jù)倉庫架構的線路圖

第一步：數(shù)據(jù)倉庫的補充

2011、2012年的時候 Hadoop主要是作為數(shù)據(jù)倉庫的補充在做數(shù)據(jù)的清洗。這一層Hadoop很擅長。Hadoop的優(yōu)勢是能夠把計算任務對全要素進行統(tǒng)計分析，這是方式非常適合簡單的場景，早年Hadoop的最佳用途是作為ETL的平臺。

第二步：逐漸進入核心

隨著Hadoop生態(tài)系統(tǒng)逐漸完善，有更多的數(shù)字化工具支持Hadoop， Hadoop開始進入數(shù)據(jù)倉庫的核心領域。有些企業(yè)開使用Hadoop來直接做數(shù)據(jù)可視化，在有些行業(yè)中已經(jīng)開始用Hadoop逐漸取代傳統(tǒng)的關系數(shù)據(jù)庫來建立數(shù)據(jù)倉庫。從整個的數(shù)據(jù)倉庫的架構來看，有一半的架構已經(jīng)開始被Hadoop覆蓋了。

第三步：Hadoop使資源管理變?yōu)榭赡?，最終將取代企業(yè)完整的整據(jù)倉庫

在一兩年之內有些企業(yè)完整的數(shù)據(jù)倉庫架構都可能會被Hadoop取代掉。

過去企業(yè)數(shù)據(jù)倉庫的時候任務很繁重，系統(tǒng)效率低下。造成這種狀況的重要原因是，客戶把過多的負載放在數(shù)據(jù)倉庫上面，數(shù)據(jù)倉庫本身又沒有資源配合的方式。

Hadoop2.0推出了管理框架，使得資源管理變成了可能，使得數(shù)據(jù)倉庫支撐多個部門的數(shù)據(jù)分析和訪問更加高效。舉例來說，每個部門的業(yè)務都是動態(tài)創(chuàng)建虛擬集群實現(xiàn)的，每個集群都有一定的資源配額，這樣的配額用時不會超過這個配額，使得用戶任何的負載不會影響其他的用戶，這成為數(shù)據(jù)倉庫里一個重要的實現(xiàn)，數(shù)據(jù)倉庫完全平滑，24小時不間斷運行的保障。過去上千人在訪問Hadoop的時候，也是通過調度機制實現(xiàn)的，隨著Hadoop2.0的出現(xiàn)和資源管理能力的提升，通過資源管理層可以方便的配置資源。

我們可以設定CPU的內存和存儲資源，每個部門使用的時候有配額的最低保障。當另外一個部門的用戶上線使用的時候，比如創(chuàng)建了一個集群，這時會把你的部分資源還給后面的第二個用戶，原來第一個用戶的資源被收縮了，更多的用戶進來的時候，第一個用戶的資源被進一步收縮，收縮到一個最低的指標。一方面充分保障了每個用戶最低資源的配額，第二也保證系統(tǒng)整體運行的情況下可以充分有效利用整體的計算資源。

二、隨著云計算和物聯(lián)網(wǎng)的逐漸興起，實時流數(shù)據(jù)的處理將成為關注重點

云計算和物聯(lián)網(wǎng)使得數(shù)據(jù)呈現(xiàn)兩個主要特點。首先，數(shù)據(jù)在沒有人工干預的情況下24小時不間斷的產(chǎn)生;第二數(shù)據(jù)并發(fā)量高，使得單一的統(tǒng)計已經(jīng)不能滿足用戶要求，對數(shù)據(jù)模式的分析和深度挖掘的要求增強

現(xiàn)在的大數(shù)據(jù)處理不光需要做統(tǒng)計，而是需要做機器學習，快速地檢測出異常的狀態(tài)。

比如在交通行業(yè)部署的實時監(jiān)控平臺，這是一個發(fā)展得比較成熟的案例，在全國已經(jīng)得到了廣泛部署。其主要用途是把路面上裝的攝像機的照片和分析出來的車牌等信息，實時的傳送到中心的大集群中，然后把所有的車流信息實時匯總至省級集群部署，通過流處理形成實時的應用，比如說區(qū)間測速、實時路況、公安部實時布控的應用等。相關數(shù)據(jù)也會進入到數(shù)據(jù)庫，對外提供車輛軌跡的查詢，實時路況的檢索，比如行車分析和交通管理的應用等。

過去在常見的部署架構中由數(shù)據(jù)集群做實時的處理時，包括應用和查詢的功能，數(shù)據(jù)會經(jīng)過蜂窩隊列，分布量是非常高的，單節(jié)點的服務器可以支撐一秒鐘十萬條結果的插入，基本上是滿負荷。

傳統(tǒng)的流處理加上Hadoop，可以解耦前端應用和后端的分析應用。由于分布隊列的吞吐量很高，可以在幾百萬個地方寫入，可以基本滿足上千萬傳感器同時傳送峰值的壓力，后端的是流處理的引擎做數(shù)據(jù)分析。

我們把數(shù)據(jù)流按時間切片，每個小切片一百毫秒左右。我們需要在數(shù)據(jù)經(jīng)過這個流的時候在流上直接做異常檢測，包括多種算法，最基本的是希望將這些算法直接移植到流上，實現(xiàn)流式的異常檢測。這里面有一個挑戰(zhàn)是，剛開始出現(xiàn)的異?？赡懿⒉粶蚀_，盡量要避免誤報的情況，通常會用SQL來做聚合和預先的數(shù)據(jù)處理，而Spark可以實現(xiàn)小片的批處理流程，我們在小的批量上能夠實現(xiàn)延遲是一秒鐘內可以發(fā)出告警。

這種方式的好處是可以對實時數(shù)據(jù)和歷史數(shù)據(jù)實現(xiàn)綜合的分析，都同在一個數(shù)據(jù)庫中，可以在上面用完整的統(tǒng)計分析的挖掘，包括可以做計算和預測，這些分析超出了以前統(tǒng)計的范疇，而且需要歷史數(shù)據(jù)和實時數(shù)據(jù)進行統(tǒng)一的分析。這個領域今年可能會是比較熱門的領域，預計這個模式在物聯(lián)網(wǎng)實時處理上得到更加廣泛的應用。

三、大數(shù)據(jù)技術能給我們的生活帶來什么

我們把數(shù)據(jù)源分兩大類：

1.人的行為產(chǎn)生的數(shù)據(jù)：包括網(wǎng)上購物、通過運營商通話、發(fā)微信都會留下數(shù)據(jù)，這些分析無外乎是給客戶提供更好的服務，或者是幫助商家更準確的找到客戶進行精準營銷;

2.機器產(chǎn)生的數(shù)據(jù)：幫助發(fā)現(xiàn)一些客觀規(guī)律，比如說交通的模式是怎樣的，用電的消耗量和氣侯和電網(wǎng)的關系是怎樣的，也對數(shù)據(jù)進行分析和能夠做實時報警和診斷優(yōu)化生產(chǎn)線的流程提供依據(jù)。

數(shù)據(jù)分析和挖掘開始出現(xiàn)，目前還不是主流。大數(shù)據(jù)描繪的場景是能夠進行預測，這逐漸開始成為事實。

人流密度實時預警

比如通過對基站的數(shù)據(jù)基本上可以比較粗的定位人的大致位置。通過對數(shù)據(jù)進行密度的統(tǒng)計，可以非常迅速的找出區(qū)域內部密度的值，基礎值是每個基站每英里多少個用戶數(shù)，這是基站可以提供的數(shù)據(jù)，利用這個數(shù)據(jù)可以非?？斓闹廊巳旱拿芏?。

也可以利用銀聯(lián)的數(shù)據(jù)，我們的合作伙伴用銀聯(lián)的數(shù)據(jù)把上海的商圈都找出來了，商圈是根據(jù)過去三個月銀聯(lián)的刷卡記錄，根據(jù)消費額、消費地點以及消費商戶的類別進行統(tǒng)計的，上海14個商圈是比較密集的，有些商圈我們也沒去過，比較偏遠的反而是商圈。上海的架構看基礎是衛(wèi)星城的架構，和北京不同，周圍有很多密集的商圈。

這個數(shù)據(jù)也可以做人群的預測，商圈是人群密集的地方，隨著踩踏事件的出現(xiàn)，公安的客戶也來找到我們，發(fā)現(xiàn)這個數(shù)據(jù)對他們很有用，因為我們可以統(tǒng)計節(jié)日間實時的刷卡記錄，可以判斷晚七點到九點消費集中的區(qū)域，這些區(qū)域是人。

垃圾短信分類

利用流式的機器學習做垃圾短信的分類，在流上做實時的檢測，速度是非常快的，可以流上實時的實現(xiàn)。運營商所有的短信經(jīng)過流式系統(tǒng)可以迅速的判斷出哪些消息是垃圾短信，來凈化現(xiàn)在運營商的垃圾短信泛濫局面。

消費者行為預測

機器學習類：協(xié)同過濾、相似度主要是比較商品間的相似程度進行推薦，一些新的應用也比較有趣，像是基于時序關系的預測。每次消費行為和時間是有關的，一個人經(jīng)常跑到陸家嘴有一個明顯的地方，帶著小孩會去海洋公園玩一下，有時看東方明珠看一下，然后去正大廣場吃個午飯，這是統(tǒng)計出一個模式，這是時序相關性，我們可以對客戶推送一些比較精準的廣告。

總結

我們看到Hadoop主要的用途是數(shù)據(jù)倉庫中，未來會逐漸的開始把更多的負載牽到上面來;第二物聯(lián)網(wǎng)逐漸的興起，針對一些挑戰(zhàn)我們需要在流上做更強的分析和機器學習，這種新的架構也層出不窮;第三是全新的集群的應用?？梢灶A見的是，隨著云計算和物聯(lián)網(wǎng)等技術的不斷發(fā)展，利用大數(shù)據(jù)的分析能力實現(xiàn)對未來的洞察將逐漸成為現(xiàn)實。