數(shù)據(jù)管理和分析趨勢正在改變世界

現(xiàn)在的數(shù)據(jù)世界正在發(fā)生什么，它將如何影響2018年的市場?比如這些頭條新聞:人工智能無處不在，并將改變一切;企業(yè)繼續(xù)將他們的基礎(chǔ)設(shè)施和數(shù)據(jù)轉(zhuǎn)移到云端;GDPR將使數(shù)據(jù)保護成為每個公司的首要任務(wù)。你知道這些，但也許會對這種夸大其詞的說法有點懷疑。

那么到底發(fā)生了什么實質(zhì)性的變化?在制定架構(gòu)和采購策略并在這些領(lǐng)域做出決策時，你需要注意什么?接下來我們會討論在分析領(lǐng)域發(fā)生的7個影響深遠的變化，并將它們一一呈現(xiàn)。

Hadoop始終是根基

是的，那些大數(shù)據(jù)項目的失敗率很高；并且Spark在某種程度上已經(jīng)取代了Hadoop，越來越多的客戶開始獨立運行它，所以業(yè)界開始指責(zé)Hadoop…并且不再提到它的名字。所以你認為Hadoop一定已經(jīng)過時了，對吧?

錯!現(xiàn)在每個人都在談?wù)?a href='/map/shujuhu/' style='color:#000;font-size:inherit;'>數(shù)據(jù)湖，很多時候，那只是Hadoop的代碼。而且，雖然許多公司正在云存儲中實現(xiàn)他們的數(shù)據(jù)湖，也經(jīng)常使用Hadoop生態(tài)系統(tǒng)技術(shù)來分析這些數(shù)據(jù)。除此之外，當(dāng)開始使用云存儲來模擬HDFS、Hadoop的文件系統(tǒng)時，你就會意識到云數(shù)據(jù)湖和Hadoop數(shù)據(jù)湖并沒有本質(zhì)區(qū)別。

好消息是，今年Hadoop將會做它一直應(yīng)該做的事情:低調(diào)地被很多企業(yè)接受，并將成為眾多數(shù)據(jù)工具之一，發(fā)揮其戰(zhàn)略作用。正是這些數(shù)據(jù)技術(shù)的結(jié)合，包括Hadoop、Spark、Business Intelligence (BI)和數(shù)據(jù)倉庫，使得當(dāng)前的分析市場如此令人興奮。

再見！企業(yè)級商業(yè)智能棧

今年早些時候，作為一家企業(yè)級商業(yè)智能公司，MicroStrategy宣布向其前端競爭對手做出讓步，引入他們的產(chǎn)品。MicroStrategy相信可以通過利用后端OLAP平臺以及相關(guān)的數(shù)據(jù)處理來盈利。該公司似乎意識到了在數(shù)據(jù)可視化和儀表板方面的競爭是比較困難的，即使能夠取得成功，也會帶來收益遞減。

那么后端是否足以維持企業(yè)收入并持續(xù)增長？我們拭目以待。但有一點是肯定的，單一的企業(yè)級商業(yè)智能堆棧已經(jīng)開始解體，新的挑戰(zhàn)即將開始。

數(shù)據(jù)分層

也許你熟悉數(shù)據(jù)分層的概念，比如數(shù)據(jù)存儲與其訪問頻率的相關(guān)性?！盁衢T”數(shù)據(jù)，即最常用的數(shù)據(jù)，有時訪問請求會被路由到非常快的存儲，比如固態(tài)硬盤，甚至是CPU緩存中；而冷門數(shù)據(jù)通常存儲在更老的，但更便宜的旋轉(zhuǎn)硬盤驅(qū)動器之中。

隨著存儲層次的完善，我們將在今年看到其他層次結(jié)構(gòu)被逐漸認可。例如，分析涉及從與特定團隊或業(yè)務(wù)單位相關(guān)的實驗數(shù)據(jù)集到對整個企業(yè)都有用的高度結(jié)構(gòu)化，審核和共識驅(qū)動的數(shù)據(jù)。 中間是結(jié)構(gòu)化數(shù)據(jù)集，可能由于大小或清潔程度而被視為略低于生產(chǎn)水平。

實驗數(shù)據(jù)集存儲在數(shù)據(jù)湖中最好；邏輯上，高度審查的數(shù)據(jù)集最好存儲在數(shù)據(jù)倉庫中。中級數(shù)據(jù)集可能比較適合放在Hadoop或云存儲中，但通常會使用IBM Big SQL，Microsoft PolyBase和Oracle Big Data SQL等SQL-on-Hadoop工具從關(guān)系型數(shù)據(jù)庫中進行查詢。

還有一種層次結(jié)構(gòu)可能會根據(jù)數(shù)據(jù)是用于設(shè)計機器學(xué)習(xí)模型還是僅用于分析來對數(shù)據(jù)進行分層，其他的層次結(jié)構(gòu)可能由數(shù)據(jù)源的可信度來定義。

層次結(jié)構(gòu)之所以重要，是因為相應(yīng)的工具和技術(shù)也存在分級，包括查詢端的商業(yè)智能和大數(shù)據(jù)分析工具，以及存儲庫端的事務(wù)型數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫，數(shù)據(jù)倉庫和數(shù)據(jù)湖。雖然最終，層次結(jié)構(gòu)可能會得到簡化，技術(shù)可能會趨于整合，但是現(xiàn)在有了這么多的技術(shù)選擇，我們就需要數(shù)據(jù)中的層次結(jié)構(gòu)來規(guī)定我們在工具鏈部署中的最佳實踐。

可視化商品

MicroStrategy宣布與Tableau，Qlik和Power BI進行合作不僅僅是對競爭對手的讓步。事實上，這三種自助商業(yè)智能工具現(xiàn)在已經(jīng)成為行業(yè)標(biāo)準(zhǔn)，進一步為其他想在可視化領(lǐng)域大顯身手的公司設(shè)置了障礙。

他們也對整個行業(yè)實現(xiàn)了商品化。在Tableau Public，Qlik Sense Cloud Basic和Power BI Desktop（以及Power BI云服務(wù)的免費層）之間，可以免費體驗入門級分析功能，隨著添加像plotly這樣的可視化工具，體驗D3生態(tài)系統(tǒng)和開源的地理空間/地圖平臺，你會發(fā)現(xiàn)你的分析能力從受時間限制變成了受金錢限制，你需要通過付費來獲得更好的產(chǎn)品功能。

如今，用戶已經(jīng)將良好的數(shù)據(jù)處理能力看作理所當(dāng)然，他們雖然對此印象深刻，但并不滿足于此，好的產(chǎn)品不會具有很明顯的競爭優(yōu)勢，但差的產(chǎn)品必然處于競爭劣勢。

數(shù)據(jù)治理

雖然在過去的一段時間里，數(shù)據(jù)治理技術(shù)并未受到應(yīng)有的重視，但如今也開始獲得了一些尊重。歐盟的“通用數(shù)據(jù)保護條例”（GDPR）就是一個例子-而最終，缺乏足夠的治理是今年對有效治理工具需求的一個非常重要的痛點。

即使遵循法規(guī)是催化劑，但治理背后還有其他驅(qū)動因素。其中最大的一項是數(shù)據(jù)分類，它們使數(shù)據(jù)湖中的數(shù)據(jù)集更有條理，并且更易于發(fā)現(xiàn)。數(shù)據(jù)發(fā)現(xiàn)工具可以幫助您通過查看數(shù)據(jù)庫和數(shù)據(jù)湖，報告其數(shù)據(jù)內(nèi)部和數(shù)據(jù)之間的關(guān)系和數(shù)據(jù)流。從另一個角度來講，這些工具使數(shù)據(jù)湖本身更具有可用性，對其投資更加有效。隨著公司對前幾年投資尋求更好的回報，數(shù)據(jù)分類和發(fā)現(xiàn)工具將越來越受歡迎，進一步推動了治理技術(shù)的發(fā)展。

云數(shù)據(jù)湖 = 云數(shù)據(jù)鎖定

我們已經(jīng)談到了基于云存儲的數(shù)據(jù)湖的發(fā)展趨勢。但事實是，這不是一個隨機出現(xiàn)的有趣的上云案例，這是主要云供應(yīng)商的中心賣點和銷售策略。

在特定的云平臺上，你存儲的數(shù)據(jù)越多，你就會在這個平臺上針對這些數(shù)據(jù)做更多的工作，包括但不限于數(shù)據(jù)準(zhǔn)備，分析，預(yù)測建模和模型訓(xùn)練(在高端的gpu加速虛擬機上)。云之戰(zhàn)是數(shù)據(jù)存儲之戰(zhàn)，贏家可能會讓你深陷其中。

容器革命

大家都知道，基于Docker的容器技術(shù)在數(shù)據(jù)中心和軟件開發(fā)領(lǐng)域正在改變一切。這種變革影響巨大且不容小覷。

但是您是否知道數(shù)據(jù)和分析世界中也在發(fā)生著類似的變化？這很難說，因為盡管這種轉(zhuǎn)變不太明顯，但它是真實發(fā)生的：

MapR已經(jīng)通過其PACC（持久應(yīng)用客戶端容器）重新定位了融合數(shù)據(jù)平臺

云提供商利用容器技術(shù)更快地部署節(jié)點，并促進更多資源共享 - 從而使臨時集群看起來更持久

Hadoop最近剛剛發(fā)布了3.0版本，它很快就會支持在Docker容器中運行YARN資源管理器，從而使Hadoop作業(yè)代碼的依賴項可以根據(jù)集群中每個節(jié)點上安裝的代碼而不同。

越來越清楚的是，每個軟件供應(yīng)商，其產(chǎn)品都依賴于其他軟件的基礎(chǔ)版本，都逐漸意識到容器可以消除版本沖突問題 - 為他們和他們的客戶。

下一步，做決定

對大趨勢進行識別和預(yù)測是非常有趣的。那些行業(yè)中發(fā)生的具體而突出的變化，以及供應(yīng)商和客戶追求的策略，可以幫助您制定自己的發(fā)展計劃，他們?yōu)槟臎Q定提供了依據(jù)：你今年要做什么，你不會做什么，以及你合理期待的結(jié)果。對于像數(shù)據(jù)分析這樣的創(chuàng)新熱點，您需要不斷規(guī)劃您的方案并進行大筆投注，但您也需要采取一定的保障措施。我們希望并相信這七個趨勢分析可以幫助您做到這兩點。