隨著互聯(lián)網(wǎng)的普及化以及物聯(lián)網(wǎng)的快速發(fā)展，人們產(chǎn)生的數(shù)據(jù)也越來越多。早幾年前，馬云就突出了當前是“DT”時代的說法。但數(shù)據(jù)的多并不代表著就是好事，只有被利用起來的數(shù)據(jù)才是好事。有人將數(shù)據(jù)稱為是“新石油”，這個比喻是非常恰當?shù)?。因為石油本身沒有任何價值，它必須被提煉成汽油或塑料才有價值。同樣地，我們都被大量的數(shù)據(jù)淹沒了，但為了獲得真正的價值，這些數(shù)據(jù)必須被提煉成商業(yè)見解。

我們生活在一個越來越依賴數(shù)據(jù)的社會，信息正變得和金錢一樣。例如，許多消費者使用谷歌、Facebook、亞馬遜、微軟和蘋果等互聯(lián)網(wǎng)巨頭提供的免費服務(wù)。作為服務(wù)的回報，這些公司可以追蹤他們的在線行為，并進行商業(yè)化變現(xiàn)。

當前，這種交易的最大的問題之一就是開放性，人們的個人信息（有時是無意的）會泄露給為他們提供網(wǎng)絡(luò)服務(wù)的企業(yè)。近期在大西洋兩岸的投票都表明，有些數(shù)據(jù)管理機構(gòu)能夠利用大量的用戶數(shù)據(jù)（包括人口統(tǒng)計數(shù)據(jù)、消費者行為和互聯(lián)網(wǎng)中的活動），來對廣告、新聞報道和服務(wù)進行微觀定位，以完成特定的目的。

顯然，數(shù)據(jù)閘門現(xiàn)在正在向各種規(guī)模和類型的企業(yè)開放。通過及時的分析，能夠給企業(yè)帶來很多的競爭優(yōu)勢。雖然說目前大部分企業(yè)都把目光偏向到客戶行為上，但數(shù)據(jù)可以在產(chǎn)品或服務(wù)供應(yīng)鏈的多個環(huán)節(jié)中獲得，而且有多種形式——傳統(tǒng)的（結(jié)構(gòu)化的）、臨時的（非結(jié)構(gòu)化的）、實時的、物聯(lián)網(wǎng)——或者是M2M（譯者注：M2M全稱Machine to Machine,是指數(shù)據(jù)從一臺終端傳送到另一臺終端,也就是機器與機器的對話）生成的，等等。

成功利用大數(shù)據(jù)的公司可以節(jié)約成本，并提高運營效率，從數(shù)據(jù)驅(qū)動的創(chuàng)新中獲得豐厚的回報。同時，大數(shù)據(jù)也可以幫助企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型，讓它們能夠在面對任何顛覆性的創(chuàng)業(yè)公司時保持競爭力。

然而，有用的商業(yè)見解不會自動從各種各樣的信息中浮現(xiàn)出來。企業(yè)必須識別、組織和分析可操作的數(shù)據(jù)，并將數(shù)據(jù)分析的結(jié)果與業(yè)務(wù)相關(guān)部分結(jié)合起來。這需要規(guī)劃、預(yù)算以及合適的工具和專業(yè)知識等支持。

數(shù)據(jù)量到底有多少？

人們會定期估算每年全球產(chǎn)生的數(shù)據(jù)量，以及以何種形式產(chǎn)生數(shù)據(jù)。早在2014年IDC和EMC發(fā)布的報告中，2013年的數(shù)據(jù)量有4.4 ZB，即4.4萬億GB，并預(yù)測2020年這一數(shù)字將增長至44 ZB，每兩年翻一番。根據(jù)IDC和Seagate的數(shù)據(jù)，估計2025年的數(shù)據(jù)量為163 ZB，比2016年的16.1 ZB增加10倍。

IDC 和Seagate報告還預(yù)測，全球范圍內(nèi)的大部分數(shù)據(jù)來源將從消費者轉(zhuǎn)向企業(yè)，后者產(chǎn)生的數(shù)據(jù)在2025年將占到整體的60%。根據(jù)這份報告，推動這種轉(zhuǎn)變的趨勢包括：數(shù)據(jù)從作為商業(yè)背景到?jīng)Q策關(guān)鍵的轉(zhuǎn)變；嵌入式系統(tǒng)和物聯(lián)網(wǎng)的發(fā)展；改變現(xiàn)狀的認知/人工智能系統(tǒng)的發(fā)展；移動和實時數(shù)據(jù)的產(chǎn)生；以及安全正在逐漸成為一個關(guān)鍵的基礎(chǔ)等等。

所有這些數(shù)據(jù)都需要一個“家”，要么是永久的，要么是暫時的，這就解釋了Seagate這樣的存儲公司是怎么掙錢的。

在發(fā)布這份報告的聲明中，Seagate首席執(zhí)行官Steve Luczo表示：

雖然我們可以從研究報告中看出大數(shù)據(jù)時代已經(jīng)到來，但數(shù)據(jù)的價值并不是‘已知的’，而是‘未知的’，我們嚴重低估了這一潛力。真正令人興奮的是分析‘新業(yè)務(wù)、新思維和新生態(tài)系統(tǒng)，從機器人和機器到機器學習等行業(yè)’，以及它們帶給我們社會和經(jīng)濟的影響。數(shù)據(jù)能夠給今天和未來的企業(yè)家?guī)砭薮蟮膬r值，我們的全球商業(yè)領(lǐng)袖將在未來幾十年里探索這些機會。”

都有哪些數(shù)據(jù)？

當然，并不是所有數(shù)據(jù)都能夠用于分析。例如，在2025年的數(shù)據(jù)時代報告中，IDC估計到2025年，全球數(shù)據(jù)中大約20％的數(shù)據(jù)對我們的日常生活至關(guān)重要，其中10%的數(shù)據(jù)將會是“超級關(guān)鍵”的。

該報告指出：“超級關(guān)鍵數(shù)據(jù)的出現(xiàn)，迫使企業(yè)必須開發(fā)和部署數(shù)據(jù)采集、分析和基礎(chǔ)設(shè)施；保證數(shù)據(jù)存儲的可靠性、可用性以及更安全的系統(tǒng)；并進行新的業(yè)務(wù)實踐，甚至制定新的政策與規(guī)定，來減輕、轉(zhuǎn)移和削弱潛在的負債風險。”

人工智能和機器學習將越來越多地參與到大數(shù)據(jù)分析中，這進一步限制了可用的數(shù)據(jù)量。在報告中，IDC估計，到2025年底，全球數(shù)據(jù)中被標記的只有15％，所以才適合人工智能/機器學習分析。

大數(shù)據(jù)趨勢和預(yù)測

每年，各種技術(shù)領(lǐng)域的專家都會對當前的趨勢進行總結(jié)，并對未來12個月做出預(yù)測。大數(shù)據(jù)也不例外，我們整理了多個專家在2017年做出的預(yù)測，并對這些預(yù)測進行了分類。以下是一些分析結(jié)果：

數(shù)據(jù)主要來自：Acodez，Big Data Made Simple，Datafloq，Datameer，Enterra解決方案，Gartner，惠普，IBM，Infogix，MapR，甲骨文，Ovum，Pentaho，Quantzig，RTInsights，Sysmech，Tableau軟件

對于大數(shù)據(jù)行業(yè)觀察者來說，2017年最有影響力的領(lǐng)域是人工智能、機器學習、自動化和認知系統(tǒng)。例如，分析公司Ovum認為，“機器學習是一個巨大的顛覆者”、“嵌入式機器學習的分析應(yīng)用正成為常態(tài)”。

如果企業(yè)要避免被數(shù)據(jù)淹沒，提高自動化水平幾乎是不可避免的——或者，正如Enterra Systems所言：“隨著數(shù)據(jù)量的增加，人工智能將變得越來越重要?！?

另外一個重要的話題是“數(shù)據(jù)驅(qū)動的商業(yè)決策”的出現(xiàn)。甲骨文簡潔地指出，“應(yīng)用，而不僅僅是分析，推動了大數(shù)據(jù)的進程”，而Gartner預(yù)測“數(shù)據(jù)和分析將推動現(xiàn)代商業(yè)運營，而不僅僅是反映他們的業(yè)績”。

此外，在2017年的預(yù)測中被廣泛關(guān)注的還涉及信息、數(shù)據(jù)科學與數(shù)據(jù)工程、大數(shù)據(jù)擴散與治理以及基于云的分析與集成數(shù)據(jù)服務(wù)。

一些調(diào)查報告

自2012年以來，管理咨詢公司NewVantage Partners（NVP）一直在調(diào)查財富1000強企業(yè)的大數(shù)據(jù)部署情況，并于2017年4月發(fā)布了第五份報告（調(diào)查對象是這些公司的管理者）。

NVP的大數(shù)據(jù)調(diào)查顯示，80.7%的受訪者認為他們的大數(shù)據(jù)投資是成功的，有48.4%的受訪者表示“結(jié)果是可以測量的”。后者被細分為“極致成功”（顛覆性/創(chuàng)新/變革型，21%）和“非常成功”（進化型，27.4%）。

正在進行的各種大數(shù)據(jù)相關(guān)項目中，排名第一的是“通過運營來降低成本，提高效益”，占比72.6%。68.7%的受訪者認為這是一個“為創(chuàng)新和顛覆創(chuàng)造新的途徑”。

盡管有很多公司都啟動了相關(guān)項目，并取得了不小的成果。但根據(jù)NewVantage Partners的報告。在《財富》1000強的企業(yè)中，似乎仍難以建立數(shù)據(jù)驅(qū)動的企業(yè)文化:69.4%的公司已經(jīng)開始采取行動，但只有27.9%的公司表示有效果。

在為什么難以建立一個數(shù)據(jù)驅(qū)動的企業(yè)文化問題中，NVP的調(diào)查發(fā)現(xiàn)，“組織協(xié)調(diào)不足”的比例在42.6%左右，排在“缺乏中層管理人員接受和理解”（41%）和“商業(yè)阻力或缺乏理解”（41%）之前。

上面的圖表顯示，難以建立一個數(shù)據(jù)驅(qū)動的企業(yè)文化的阻礙是業(yè)務(wù)部門，而不是IT部門。因為數(shù)據(jù)整理、技術(shù)理解和數(shù)據(jù)分析方法等問題基本上沒有多少應(yīng)答者提及（小于30%）。

首席數(shù)據(jù)官（CDO），是企業(yè)具有數(shù)據(jù)驅(qū)動型的文化，或正在實現(xiàn)這一目標的關(guān)鍵指標。調(diào)查顯示，財富1000強的企業(yè)近年來在這方面取得了進步。

雖然說，擁有CDO的公司的數(shù)量已經(jīng)從2012年的12%提升到了2016年的60%。但是大多數(shù)（56%）受訪者認為他們目前的角色是“防御性”的——主要是對監(jiān)管和合規(guī)要求做出反應(yīng)。

展望未來，受訪者認為CDO應(yīng)該變得更具“攻擊性”——帶頭推動創(chuàng)新，打造數(shù)據(jù)文化，并將數(shù)據(jù)管理轉(zhuǎn)變?yōu)槠髽I(yè)資產(chǎn)。

這大概就是為什么大多數(shù)人（53.4%）認為，CDO應(yīng)該向首席執(zhí)行官（35.6%）或首席運營官（17.8%）匯報，而不是首席信息官（15.6%）。

NVP的調(diào)查還詢問了受訪者，除了大數(shù)據(jù)之外，還有什么會在未來10年里對自己的企業(yè)產(chǎn)生影響。人工智能和機器學習的排名靠前，這一點也不奇怪——無論是單選還是多選。

從歐洲的角度來看，我們研究了荷蘭數(shù)據(jù)咨詢公司GoDataDriven的大數(shù)據(jù)調(diào)查，調(diào)查對象來自2016年荷蘭的大數(shù)據(jù)博覽會參會人員。共有315人，包括168名高管和147名經(jīng)理。

當被問及成功推進大數(shù)據(jù)為企業(yè)的主要驅(qū)動力有哪些因素時，71.4%的受訪者表示是“清晰的愿景”，其次是“管理層的支持”（51.2%）和“系統(tǒng)支持和流程支持”（40.1%）。

與上面的NewVantage調(diào)查一樣，當涉及到大數(shù)據(jù)戰(zhàn)略推進的阻礙時，“業(yè)務(wù)”因素似乎比“IT”問題更突出。

當然，這并不是說IT問題不重要。當被問及建立大型數(shù)據(jù)基礎(chǔ)設(shè)施的挑戰(zhàn)時，排名靠前的兩種回答涉及數(shù)據(jù)質(zhì)量和數(shù)據(jù)可用性：

一旦有了足夠多的高質(zhì)量數(shù)據(jù)時，在企業(yè)以數(shù)據(jù)為驅(qū)動力的流程建立好之后，受訪者將“大數(shù)據(jù)知識和數(shù)據(jù)科學的訓練”列為最大的挑戰(zhàn)，占比47.4%。

與NewVantage Partners一樣，GoDataDriven也向受訪者詢問了人工智能的情況。盡管目前只有14.3%的人實際運用了深度學習和人工智能，但52%的人要么正在開發(fā)，要么計劃在三年內(nèi)運用深度學習和人工智能。

人工智能肯定是在公司的議程上，但顯然是在早期階段：在這一領(lǐng)域中，只有五分之一（21.5%）的受訪者表示沒有計劃。

專家怎么看？

為了解大數(shù)據(jù)的運行狀況，我們采訪了Sumit Nijhawan。他是提供數(shù)據(jù)治理解決方案企業(yè)Infogix的首席執(zhí)行官和總裁，他們對2017年數(shù)據(jù)趨勢進行了前瞻性分析，以下是采訪中的一些關(guān)鍵觀點。

“幾乎所有的客戶都有一個大數(shù)據(jù)計劃，許多項目都進行了大量的投資。但他們所取得的進步，他們從投資中獲得的價值，往往無法達到預(yù)期效果?！盢ijhawan一開始就這樣說道。

他補充說：“我們正在與客戶合作的一些事情，我們認為是可以帶來變革的。主要是數(shù)據(jù)治理、數(shù)據(jù)準備、自助服務(wù)和更小的數(shù)據(jù)湖（譯者注：數(shù)據(jù)湖泊是包含下面兩個特征的信息系統(tǒng)：a.可以保存大數(shù)據(jù)的并行系統(tǒng)；b.能夠在數(shù)據(jù)不移動的情況下進行計算的系統(tǒng)）部署的結(jié)合?！?

問：所以你會說，從大數(shù)據(jù)中獲取商業(yè)洞察的主要瓶頸是“發(fā)現(xiàn)公司所擁有的有價值數(shù)據(jù)，并使其可供分析”？

“是的，大部分的關(guān)注點都是提供存儲環(huán)境——Hadoop，并讓每個人都能將任何數(shù)據(jù)轉(zhuǎn)儲到其中?！边@里要注意兩件事情：首先，向Hadoop存儲數(shù)據(jù)的目標是什么？其次，即使數(shù)據(jù)存在，但是無法管理，無法搜索，也無法挖掘，而且也沒有辦法使用數(shù)據(jù)去吸引消費者，來幫助企業(yè)獲得價值。它非常依賴于技術(shù)，仍然需要技術(shù)人員來處理它。這并不是從這些投資中獲取價值的最佳方式?！?

問：這是否意味著“業(yè)務(wù)”與科技之間存在脫節(jié)——組織需要培養(yǎng)“數(shù)據(jù)文化”，讓業(yè)務(wù)部門知道如何正確地分析數(shù)據(jù)，并產(chǎn)生商業(yè)洞察力？

“我們當然需要以數(shù)據(jù)驅(qū)動的企業(yè)文化。這并不是IT人員不想分享的東西。只是他們有這些工具，他們覺得自己做得很好，但他們并不知道分析數(shù)據(jù)最終的目標是什么。這就是為什么需要業(yè)務(wù)驅(qū)動了，否則很難實現(xiàn)任何有意義的事情?！?

問：在許多組織中是否存在缺失的一環(huán)——首席數(shù)據(jù)官（CDO），誰能將業(yè)務(wù)部門連接到IT部門？

“這絕對是一個缺失的環(huán)節(jié)，但我不會說這只是一個人的問題。剛剛提到的“數(shù)據(jù)文化”指的是人、流程和技術(shù)，以及數(shù)據(jù)本身。這實際上是一個關(guān)于端到端的流程：這是如何從數(shù)據(jù)中獲取所需數(shù)據(jù)的方式，也是如何處理數(shù)據(jù)的方式，更是如何交付數(shù)據(jù)的方式。這個端對端流程需要由業(yè)務(wù)負責人來發(fā)起，當然也可以是CDO。如今，首席數(shù)據(jù)官這個職位的問題在于，在許多企業(yè)中，它幾乎都是一種官僚主義的立場：該CDO據(jù)稱具有影響力，但最終卻成為了供應(yīng)商用來推銷技術(shù)的人，而不是那些為了實現(xiàn)商業(yè)目標而在那里工作的人?！?

問：當你與客戶交談時，目前哪些數(shù)據(jù)相關(guān)的技能最火？一些分析人士發(fā)現(xiàn)，企業(yè)對數(shù)據(jù)科學家的需求有所減弱。

“我認為需求正在減弱，但這并不是因為數(shù)據(jù)科學家的數(shù)量太多了。而是因為現(xiàn)有的數(shù)據(jù)科學家無法實現(xiàn)企業(yè)想要的價值。因此，問題就變成了：如果企業(yè)沒有獲得價值，那么招募更多的數(shù)據(jù)科學家有什么意義？為什么企業(yè)的運營人員、數(shù)據(jù)分析師不能更好的處理這些數(shù)據(jù)呢？

老實說，他們可以做到，因為數(shù)據(jù)科學家所解決的80%的問題都可以通過20%的算法來解決——而且這些算法都以易于使用的方式公開了，數(shù)據(jù)分析師和業(yè)務(wù)分析師可以將這些數(shù)據(jù)整合到運營和業(yè)務(wù)流程中。我認為這種情況正在發(fā)生，結(jié)果是對數(shù)據(jù)科學家的需求減少了?！?

問：我們經(jīng)常聽到“自助式”分析，讓更少的專家參與進來。你認為這個技術(shù)發(fā)展到什么程度了呢？

“我們對客戶的做法是，我們首先會看到他們的數(shù)據(jù)湖項目在什么地方，然后告訴他們：也許你不需要花幾個月和數(shù)百萬美元來使用這些整合的開源技術(shù)。我們將為你提供一個完全自助服務(wù)的端到端設(shè)備，設(shè)備中所有東西都集成了，你所要做的就是使用這些數(shù)據(jù)來進行決策。你可以解雇你的業(yè)務(wù)人員，數(shù)據(jù)科學家，無論誰。這在市場上獲得了很大的吸引力。

問：每個人都在談?wù)?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機器學習和人工智能，你認為它將會在大數(shù)據(jù)領(lǐng)域發(fā)揮作用嗎？

“它已經(jīng)存在了一段時間了，但是現(xiàn)在有很多關(guān)于它的新聞。就像我之前說過的那樣，80%的問題可以通過20%的機器學習算法解決，比如切分、推薦、分類、回歸和預(yù)測。我們關(guān)注的一個領(lǐng)域是大數(shù)據(jù)的質(zhì)量，傳統(tǒng)的數(shù)據(jù)質(zhì)量一直都是關(guān)于精確匹配規(guī)則和重復(fù)規(guī)則等方面。現(xiàn)在數(shù)據(jù)量很高，人們向數(shù)據(jù)湖存儲更多的數(shù)據(jù)，他們并不知道確切的規(guī)則是什么。相反，我們正在使用機器學習算法，比如切分和分類來尋找異常值。這就是機器學習已經(jīng)增加了很多價值的地方——但同樣的，你不需要非常成熟的數(shù)據(jù)科學家來做這件事?！?

問：最后，你是否認為，隨著自助工具的出現(xiàn)以及非專家、甚至“公民數(shù)據(jù)科學家”的參與，大數(shù)據(jù)領(lǐng)域正在進行民主化？

“我認為這是會發(fā)生的。這是對‘大數(shù)據(jù)’的投資能夠持續(xù)、價值實現(xiàn)的唯一方式——沒有其他選擇。在IT和供應(yīng)商領(lǐng)域，有足夠多的人來推動這個問題，并找到能夠?qū)崿F(xiàn)這一目標的方法，可能還有三到五年的時間。在這期間，人們可能不會過多談?wù)摗按髷?shù)據(jù)”。相反，他們會談?wù)撘宰灾?wù)方式交付的大數(shù)據(jù)的分析結(jié)果?！?

前景

關(guān)于數(shù)據(jù)的各個方面還有很多，未來也會有更多的數(shù)據(jù)，但如果要經(jīng)常把大數(shù)據(jù)轉(zhuǎn)化為有價值的商業(yè)見解，企業(yè)還有很多工作要做。數(shù)據(jù)驅(qū)動型企業(yè)文化的建立以及數(shù)據(jù)科學家和工程師的增多（無論是從外部招募還是在內(nèi)部培訓），都將有助于推動這一過程，至少在短期內(nèi)是如此。

正如天文學家Clifford Stoll所說：“數(shù)據(jù)不等于信息，信息不等于知識，知識不等于理解，理解不等于智慧。”

因此，數(shù)據(jù)科學家和工程師將需要從大量不同種類的數(shù)據(jù)中提取信息和知識，數(shù)據(jù)驅(qū)動的文化將確保提出正確的問題，從而讓理解——甚至是智慧——到達企業(yè)的相關(guān)部門。

展望未來，自動化水平越來越高——尤其是在數(shù)據(jù)準備領(lǐng)域，以及自助服務(wù)分析工具的普及，將使專家之外的運營人員輕松獲得從數(shù)據(jù)中得出的見解。