2017將至，大數(shù)據(jù)準備好了么

去年，大數(shù)據(jù)市場完全圍繞Hadoop生態(tài)系統(tǒng)周圍的技術。從那時起，重心一直是通過已證明增加收入、提高生產(chǎn)力和降低風險而帶來投資回報的使用場合，“將大數(shù)據(jù)切實利用起來”?，F(xiàn)在，大數(shù)據(jù)繼續(xù)高奏凱歌。明年我們預計會看到更主流的公司采用大數(shù)據(jù)和物聯(lián)網(wǎng)，大中型企業(yè)保守和懷疑的企業(yè)組織會開始一頭扎入其中。

與幾年前我們剛開始接觸Hadoop時相比，數(shù)據(jù)融合會來得更重要。通過高級分析平臺，結(jié)合社交數(shù)據(jù)、移動應用程序、客戶關系管理(CRM)記錄和購買歷史記錄，這讓營銷人員得以通過發(fā)現(xiàn)當前和未來購買行為方面的隱藏模式和寶貴信息，從而洞察未來。

自助式數(shù)據(jù)分析的普及，加上云計算和Hadoop的廣泛采用，正在整個行業(yè)帶來變化，許多公司會抓住這一形勢，或者無視變化、因此面臨險境。實際上，工具仍在出現(xiàn)，而Hadoop平臺承諾的還沒有達到公司缺少不了它的地步。

下面是明年將塑造大數(shù)據(jù)行業(yè)的五大趨勢：

物聯(lián)網(wǎng)(IoT)

公司日益期望從所有數(shù)據(jù)中獲得價值;制造、銷售和支持實物的大型工業(yè)公司將與其“物件”連接的傳感器接入到互聯(lián)網(wǎng)。企業(yè)組織將不得不改動技術，以便與物聯(lián)網(wǎng)數(shù)據(jù)銜接起來。這在數(shù)據(jù)治理、標準、健康保障、安全和供應鏈等方面帶來了無數(shù)新的挑戰(zhàn)和機遇。

物聯(lián)網(wǎng)和大數(shù)據(jù)是同一枚硬幣的兩面;數(shù)十億與互聯(lián)網(wǎng)連接的“物件”將生產(chǎn)大量數(shù)據(jù)。然而，這本身不會引發(fā)另一場工業(yè)革命，不會改變?nèi)粘５臄?shù)字化生活，也不會提供拯救地球的預警系統(tǒng)。來自設備外部的數(shù)據(jù)才是企業(yè)讓自己與眾不同的方面。結(jié)合上下文來捕獲和分析這種類型的數(shù)據(jù)為公司帶來了新的發(fā)展前途。

研究表明，相比計劃維修，預測性維護最多可省下12%的成本，因而使維護成本降低30%，將設備故障造成的停運時間縮短70%。對于制造工廠或運輸公司來說，從數(shù)據(jù)驅(qū)動的決策獲得這些結(jié)果，意味著在改進運營和節(jié)省成本方面大有機會。

深度學習

深度學習是一套基于神經(jīng)網(wǎng)絡的機器學習技術，它仍在發(fā)展之中，不過在解決業(yè)務問題方面顯示出大有潛力。它讓計算機能夠從大量非結(jié)構(gòu)化數(shù)據(jù)和二進制數(shù)據(jù)中找出感興趣的內(nèi)容，并且推導出關系，而不需要特定的模型或編程指令。

這些算法的源動力主要來自人工智能領域，人工智能的總體目標是模擬人類大腦觀察、分析、學習和做決定的能力，尤其是處理極其復雜的問題。深度學習方法的一個關鍵概念就是數(shù)據(jù)的分布式表示，因而可以對輸入數(shù)據(jù)的抽象特征實現(xiàn)大量的組合，從而可以緊湊表示每個樣本，最終獲得更豐富的泛化。

深度學習主要用于從大量未標記/未監(jiān)督的數(shù)據(jù)當中學習，因而對于從大數(shù)據(jù)中提取有意義的表示和模式頗具吸引力。比如說，它可以用來識別許多不同類型的數(shù)據(jù)，比如視頻中的形狀、顏色和對象，或者甚至是圖像中的貓，就像谷歌研制的一個神經(jīng)網(wǎng)絡在2012年所做的那樣。

因此，企業(yè)可能會看到更多的注意力投向半監(jiān)督式或未監(jiān)督式訓練算法來處理進入的大量數(shù)據(jù)。

內(nèi)存中分析

不像常規(guī)的商業(yè)智能(BI)軟件對存儲在服務器硬盤上的數(shù)據(jù)運行查詢，內(nèi)存中技術查詢的是載入到內(nèi)存中的信息，這可以通過減少或甚至消除磁盤輸入/輸出瓶頸來顯著提升分析性能。就大數(shù)據(jù)而言，正是由于TB級系統(tǒng)和大規(guī)模并行處理，讓內(nèi)存中分析技術更令人關注。

在現(xiàn)階段，大數(shù)據(jù)分析的核心其實是發(fā)現(xiàn)數(shù)據(jù)。要是沒有毫秒級延遲，面對數(shù)百萬次/數(shù)十億次的迭代，運行迭代以查找數(shù)據(jù)點之間的關聯(lián)就不會成為現(xiàn)實。在內(nèi)存中處理的速度比磁盤上處理要快三個數(shù)量級。

2014年，Gartner創(chuàng)造了HTAP(混合事務/分析處理)這個術語，描述這樣一種新技術：讓事務和分析可以在同一個內(nèi)存中數(shù)據(jù)庫中處理。它讓應用程序領導人通過更強的情境意識和改進的業(yè)務敏捷性來進行創(chuàng)新，然而這需要徹底改變原有架構(gòu)，還需要相應的技術和技能，才能使用內(nèi)存中計算技術作為賦能者(enabler)。

許多公司已經(jīng)在充分利用混合事務/分析處理(HTAP);比如說，零售商能夠迅速識別在過去一小時內(nèi)最暢銷的時尚商品，并立即為該商品定制優(yōu)惠促銷活動。

但是HTAP方面炒作得很厲害，許多公司一直在過度使用它。如果用戶需要在一天內(nèi)多次以同一方式查看同一數(shù)據(jù)，數(shù)據(jù)又沒有什么顯著的變化，那么使用內(nèi)存中技術是浪費錢。雖然你可以使用HTAP更快地執(zhí)行分析，但所有事務必須駐留在同一個數(shù)據(jù)庫中。問題是，今天的大多數(shù)分析工作是把來自許多不同系統(tǒng)的事務集中起來。

云計算

混合云和公共云服務越來越受歡迎。大數(shù)據(jù)成功的關鍵是在彈性基礎設施上運行(Hadoop)平臺。

我們會看到數(shù)據(jù)存儲和分析趨于融合，帶來新的更智能的存儲系統(tǒng)，它們將經(jīng)過優(yōu)化，用于存儲、管理和排序龐大的PB級數(shù)據(jù)集。展望未來，我們可以預計會看到基于云的大數(shù)據(jù)生態(tài)系統(tǒng)在整個繼續(xù)迎來發(fā)展，不僅僅局限于“早期采用者”。

許多公司想要讓自己可以擴展的平臺，通過大力投資于最終僵化的數(shù)據(jù)中心是不可能做到這點的。比如說，人類基因組計劃一開始是個GB級項目，但是很快達到了TB級和PB級。一些領先的企業(yè)已經(jīng)開始以雙模(bi-modal)方式來拆分工作負載，在云端運行一些數(shù)據(jù)工作負載。許多人預計，隨著這種解決方案在采用周期上深入發(fā)展，這個潮流會加快發(fā)展。

現(xiàn)在大家很重視API，以一種可重用的方式來發(fā)掘數(shù)據(jù)和功能，許多公司期望在云端和數(shù)據(jù)中心運行其API。本地API提供了一種無縫的方式來發(fā)掘傳統(tǒng)系統(tǒng)，并將它們與云應用程序連接起來，這對于希望實現(xiàn)云優(yōu)先戰(zhàn)略的公司來說至關重要。

更多的公司會在云端運行API，提供彈性，以便更好地應對需求高峰，并建立高效的連接，從而讓它們能夠比競爭對手更迅速地適應和創(chuàng)新。

Apache Spark

Apache Spark在點亮大數(shù)據(jù)。流行的Apache Spark項目提供了Spark Streaming技術，通過主要采用一種在內(nèi)存中微批量處理的方法，近實時地處理數(shù)據(jù)流。它已從Hadoop生態(tài)系統(tǒng)的一部分，變成許多企業(yè)青睞的一種大數(shù)據(jù)平臺。

Spark現(xiàn)在是最龐大的大數(shù)據(jù)開源項目，相比Hadoop它提供了顯著加快的數(shù)據(jù)處理速度;因此，對于程序員來說極其自然、極加精確、極其方便。它為并行執(zhí)行提供了一種高效的通用框架。

Spark Streaming是Spark的主要部分，被用來借助處理器核心，流式傳輸大塊的數(shù)據(jù)，為此將大數(shù)據(jù)分割成更小的數(shù)據(jù)包，然后對其進行轉(zhuǎn)換，因而加快彈性分布式數(shù)據(jù)集(RDD)的創(chuàng)建。這在當下非常有用，如今數(shù)據(jù)分析通常需要一組協(xié)同運行的機器的資源。

然而值得一提的是，Spark旨在改進而不是替換Hadoop架構(gòu)。為了從大數(shù)據(jù)獲得更大的價值，許多公司考慮結(jié)合使用Hadoop和Spark，以獲得更好的分析和存儲功能。

越來越復雜的大數(shù)據(jù)需求意味著，創(chuàng)新的壓力仍然會很高。許多公司會開始明白，客戶的成功離不開數(shù)據(jù)方面的工作。不利用數(shù)據(jù)分析的公司會開始歇業(yè)，而成功的企業(yè)認識到發(fā)展的關鍵是數(shù)據(jù)精煉和預測分析。