有沒有想過(guò) 你的數(shù)據(jù)分析方法可能已經(jīng)過(guò)時(shí)

信息時(shí)代，能吃到蟲子的已不再是早起的鳥兒，而是那些數(shù)據(jù)驅(qū)動(dòng)的、早起的鳥兒。像百度、阿里巴巴和騰訊這樣的大公司，都在不斷囤積數(shù)據(jù)，因?yàn)樗麄兌贾罃?shù)據(jù)是金燦燦的寶貝。

但僅僅囤積數(shù)據(jù)是不夠的。你需要熟練地篩選、全盤了解數(shù)據(jù)湖中溢出的所有數(shù)據(jù)。只有這樣，你才能通過(guò)這些數(shù)據(jù)，做出更好的決策，打造更智能的產(chǎn)品。

然而，在擁擠不堪、投資過(guò)剩的數(shù)據(jù)分析市場(chǎng)上，供應(yīng)商為了賣出自己的產(chǎn)品不斷放出煙霧彈，想要穿過(guò)煙霧看到“真相”，卻是一大難事。以下五點(diǎn)，是未來(lái)數(shù)據(jù)分析市場(chǎng)可能的走向，僅供參考。

1. BI遷移到應(yīng)用程序

在過(guò)去的20年里，我們見證了一場(chǎng)革命。不是一夜之間發(fā)生的那種，而是逐漸發(fā)生的，緩慢的，可能很多人沒有注意到。BI(商業(yè)智能)正走向死亡?；蛘吒鼫?zhǔn)確地說(shuō)，BI正在進(jìn)行著徹頭徹尾的改變。

每年，用戶都在通過(guò)他們使用的應(yīng)用程序——比如HubSpot、SalesForce和MailChimp——進(jìn)行更多的分析。分析正在遷移到業(yè)務(wù)應(yīng)用程序的結(jié)構(gòu)中。

從本質(zhì)上講，業(yè)務(wù)應(yīng)用程序正在獲取它們自己的分析接口，根據(jù)它們的數(shù)據(jù)和用例進(jìn)行定制。這種集成和自定義使得其分析接口比深?yuàn)W的、復(fù)雜的通用BI更容易被用戶接受。隨著B2B應(yīng)用程序開始在數(shù)據(jù)智能產(chǎn)品上展開競(jìng)爭(zhēng)，這一趨勢(shì)將會(huì)繼續(xù)下去。

2. 編譯器超越分析引擎

歷史上，數(shù)據(jù)分析有兩種提供方式：通過(guò)預(yù)計(jì)算，或者通過(guò)分析引擎。

分析引擎，如Spark和Tableau的數(shù)據(jù)引擎，負(fù)責(zé)執(zhí)行所需的計(jì)算，以回答關(guān)于組織數(shù)據(jù)的關(guān)鍵問(wèn)題。

現(xiàn)在，這個(gè)領(lǐng)域出現(xiàn)了一個(gè)新的玩家：分析編譯器。分析編譯器可以靈活地將計(jì)算部署到不同的基礎(chǔ)設(shè)施。分析編譯器的例子包括現(xiàn)在大火的TensorFlow，它可以將計(jì)算部署到GPU或CPU等。

編譯器比分析引擎靈活得多，因?yàn)樗鼈兛梢赃M(jìn)行數(shù)據(jù)處理，而且我們可以將它們進(jìn)行轉(zhuǎn)換，以在不同的基礎(chǔ)設(shè)施中運(yùn)行(在數(shù)據(jù)庫(kù)中，在Spark中，在GPU中，等等)。在理論上，編譯器也可以生成比任何解釋引擎都快的工作流。

甚至Spark也一直在獲取基本的編譯工具，這無(wú)疑是編譯器在此駐留的標(biāo)志，并且可能最終會(huì)使遺留的純計(jì)算引擎相形見絀。

3. ETL多樣化

很少有一個(gè)術(shù)語(yǔ)能比“ETL”(提取轉(zhuǎn)換加載)更讓大佬們頭疼。ETL堆積了大量不完整的、重復(fù)的、不相關(guān)的數(shù)據(jù)，像污水一樣被排放出來(lái)，清理干凈，然后被推到一個(gè)可以處理這些數(shù)據(jù)的地方。

ETL是現(xiàn)代、敏捷和數(shù)據(jù)驅(qū)動(dòng)等關(guān)鍵詞的對(duì)立面。ETL意味著不斷重復(fù)的數(shù)據(jù)，無(wú)數(shù)的延遲，以及高額的費(fèi)用。它無(wú)法回答重要的問(wèn)題。

為了讓ETL變得更加靈活，行業(yè)內(nèi)已經(jīng)開發(fā)出了各種各樣的替代方案。這些解決方案包括高級(jí)的ETL工具——使ETL更容易進(jìn)入Hadoop或數(shù)據(jù)倉(cāng)庫(kù)，到流ETL解決方案，再到利用機(jī)器學(xué)習(xí)交叉引用和刪除重復(fù)數(shù)據(jù)的ETL解決方案。

另一個(gè)非常有趣的技術(shù)類別包括像Dremio和Xcalar這樣的工具，它們將ETL重構(gòu)為提取-加載-轉(zhuǎn)換(或ELT)。本質(zhì)上，它們將轉(zhuǎn)換的步驟推到最后，因此不必再預(yù)先進(jìn)行提取、加載或轉(zhuǎn)換。

從歷史上看，ELT的速度很慢，但這些下一代解決方案通過(guò)動(dòng)態(tài)調(diào)整、索引和緩存常見的轉(zhuǎn)換來(lái)快速地進(jìn)行拼寫。這提供了傳統(tǒng)ETL的性能，同時(shí)具有后期轉(zhuǎn)換的靈活性。

不管你如何看待它，ETL正在經(jīng)歷著戲劇性的演變，這將使組織能夠比以往更容易地快速地利用數(shù)據(jù)，而無(wú)需耗費(fèi)大量時(shí)間和昂貴的前期投入。

4. 數(shù)據(jù)倉(cāng)庫(kù)開放

大型組織的問(wèn)題多數(shù)在于無(wú)法從專注于精心設(shè)計(jì)的分析。大多數(shù)公司甚至無(wú)法合計(jì)和計(jì)算他們有多少數(shù)據(jù)。不是因?yàn)橛?jì)數(shù)很困難，而是因?yàn)橐粋€(gè)大型組織中的數(shù)據(jù)一般分散在萬(wàn)個(gè)數(shù)據(jù)豎井中。

不過(guò)由于云(包括API革命和管理數(shù)據(jù)解決方案)和ETL最近的進(jìn)展，使得組織以結(jié)構(gòu)化的方式訪問(wèn)更多的數(shù)據(jù)變得比以往任何時(shí)候都要容易。

下一代數(shù)據(jù)管理解決方案將在利用這些技術(shù)進(jìn)步中發(fā)揮重要作用，使所有的組織的數(shù)據(jù)能夠及時(shí)地對(duì)所有合適的人進(jìn)行分析。

5. 機(jī)器學(xué)習(xí)落到實(shí)處

機(jī)器學(xué)習(xí)剛剛度過(guò)了炒作的高峰期，或者至少我們可以希望是如此。機(jī)器學(xué)習(xí)是不完美和無(wú)罪的致命組合。當(dāng)機(jī)器學(xué)習(xí)出錯(cuò)的時(shí)候(通常也是不可避免的)，我們不知道該去責(zé)怪誰(shuí)。

這對(duì)于任何一種關(guān)鍵任務(wù)分析都是絕對(duì)不能容忍的。

因此，距離我們把人工智能訓(xùn)練成社會(huì)最聰明的人，吸收全部知識(shí)，仍是非常遙遠(yuǎn)的，遠(yuǎn)超過(guò)5年。

在此之前，我們很可能會(huì)看到機(jī)器學(xué)習(xí)專注于某些場(chǎng)景的應(yīng)用。例如結(jié)構(gòu)化數(shù)據(jù)集的黑盒預(yù)測(cè)分析;人類輔助技術(shù)可以讓人們看到不同數(shù)據(jù)源之間的連接，糾正常見錯(cuò)誤，發(fā)現(xiàn)異?，F(xiàn)象。這些并不是科幻小說(shuō)中所提到的超級(jí)大腦，但它們會(huì)讓用戶更容易找到問(wèn)題，并幫助引導(dǎo)他們找到正確的答案。

雖然分析是一個(gè)巨大的市場(chǎng)，充斥著令人困惑的營(yíng)銷言論，但一些大的趨勢(shì)也可以幫助企業(yè)決定在哪里進(jìn)行投入。

未來(lái)5年，這些大的趨勢(shì)可能會(huì)影響到組織使用的工具，得到融資的數(shù)據(jù)分析型創(chuàng)業(yè)公司，以及我們?cè)谡麄€(gè)數(shù)據(jù)分析領(lǐng)域中看到的創(chuàng)新，從數(shù)據(jù)倉(cāng)庫(kù)到可視化分析前端。在需要弄清楚數(shù)據(jù)架構(gòu)和技術(shù)堆棧應(yīng)該是什么樣子的時(shí)候，要根據(jù)自身實(shí)際情況，做出明智的決策。