企業(yè)沒(méi)有大數(shù)據(jù)，只有壞數(shù)據(jù)

    很多企業(yè)經(jīng)常會(huì)吹噓自己擁有多少 TB，甚至是 PB 的數(shù)據(jù)量，還有它們的大型數(shù)據(jù)科學(xué)家團(tuán)隊(duì)正在使用 Apache Kafka 流運(yùn)行海量的 Hadoop 集群，這些企業(yè)認(rèn)為這些都是它們的競(jìng)爭(zhēng)優(yōu)勢(shì)所在。

    然而，事實(shí)上它們當(dāng)中的大多數(shù)都遇到了計(jì)算機(jī)領(lǐng)域的一個(gè)老生常談的問(wèn)題：無(wú)用輸入，無(wú)用輸出（garbage in, garbage out）。它們不僅沒(méi)有符合大數(shù)據(jù)定義的數(shù)據(jù)復(fù)雜度或數(shù)據(jù)量，而且它們擁有的實(shí)際上是劣質(zhì)數(shù)據(jù)，它們的業(yè)務(wù)甚至有可能會(huì)因此蒙受損失。根據(jù) Experian Data Quality 的數(shù)據(jù)，88%的企業(yè)的收支情況都會(huì)受到不準(zhǔn)確數(shù)據(jù)的影響，而且受影響的營(yíng)收比例高達(dá) 12%。

    優(yōu)質(zhì)的大數(shù)據(jù)

    部分企業(yè)確實(shí)擁有優(yōu)質(zhì)的數(shù)據(jù)，而且知道如何運(yùn)用它。從像谷歌這樣的成熟網(wǎng)絡(luò)公司，到像波音這樣的工程背景企業(yè)，下文列出的企業(yè)都能夠成功地管理海量的數(shù)據(jù)，并將其用于實(shí)現(xiàn)真正數(shù)據(jù)驅(qū)動(dòng)的決策。

    Netflix：為用戶提供他們想要的東西。 占據(jù)美國(guó)三分之一互聯(lián)網(wǎng)高峰流量的 Netflix 會(huì)收集大量關(guān)于用戶觀影習(xí)慣的數(shù)據(jù)，而且它還可以將這些數(shù)據(jù)按照地區(qū)、觀看時(shí)段、觀看時(shí)長(zhǎng)等各種項(xiàng)目進(jìn)行細(xì)分。這種方式使得他們能夠準(zhǔn)確地預(yù)測(cè)觀眾喜歡的內(nèi)容。

    能夠很好的證明這點(diǎn)的例子是，Netflix 現(xiàn)在已經(jīng)從一個(gè) DVD 點(diǎn)播和流媒體服務(wù)發(fā)展成為一家獨(dú)立的影視制作公司，諸如《紙牌屋》和《女子監(jiān)獄》這樣的熱門劇集都是他們的作品。他們的原創(chuàng)劇集甚至摒棄了傳統(tǒng)的單集試播模式，而是而是選擇一次性地制作整季的劇集。

    IBM和 The Weather Company：理解天氣對(duì)業(yè)務(wù)的影響。IBM 已經(jīng)和 The Weather Company 建立了合作關(guān)系，它們將各自的海量數(shù)據(jù)組結(jié)合起來(lái)，并從中分析出天氣對(duì)公司業(yè)務(wù)的影響。這項(xiàng)分析涵蓋了從零售業(yè)到保險(xiǎn)業(yè)等各個(gè)領(lǐng)域，它們能夠準(zhǔn)確的提供實(shí)時(shí)的分析結(jié)果，例如溫度變化對(duì)銷量的影響，或者保險(xiǎn)公司如何通過(guò)建議客戶駕車出行的方法來(lái)節(jié)省成本。

    西奈山伊坎醫(yī)學(xué)院：預(yù)測(cè)病人的健康。 這所位于紐約市的醫(yī)學(xué)院已經(jīng)任命了杰夫·哈默巴赫（Jeff Hammerbacher）——Facebook 的首位數(shù)據(jù)科學(xué)家擔(dān)任一個(gè)計(jì)算機(jī)開(kāi)發(fā)項(xiàng)目的主管，這個(gè)項(xiàng)目的目標(biāo)是分析他們每年收治的 50 萬(wàn)位病人的醫(yī)療信息。

    在西奈山基因組學(xué)與多尺度生物學(xué)研究院院長(zhǎng)的協(xié)助之下，他們正在研究如何做出能夠降低醫(yī)療成本的預(yù)測(cè)——例如通過(guò)分析病人的既往病史和風(fēng)險(xiǎn)因素來(lái)確定他們所需的治療頻率，或者為醫(yī)生提供來(lái)自基因組學(xué)和實(shí)驗(yàn)數(shù)據(jù)收集得出的風(fēng)險(xiǎn)模型，幫助他們?yōu)椴∪酥贫ㄖ委煼桨浮?/span>

    亞馬遜：設(shè)立客戶服務(wù)的新標(biāo)準(zhǔn)。 亞馬遜擁有前所未有的用戶數(shù)據(jù)——從他們正在閱讀的書籍到他們補(bǔ)充化妝棉的頻率。正當(dāng)其他公司都將客戶支持放在次要地位的時(shí)候，亞馬遜已經(jīng)將其變成了自身業(yè)務(wù)的一個(gè)重點(diǎn)，它非常強(qiáng)調(diào)與消費(fèi)者進(jìn)行直接溝通的重要性。憑借自身豐富的用戶數(shù)據(jù)，亞馬遜能夠在用戶有需要的時(shí)候立刻提供相關(guān)的信息，在簡(jiǎn)化客戶服務(wù)流程的同時(shí)還能鞏固他們的忠誠(chéng)度。

    施樂(lè)：減少員工流失。 工作經(jīng)歷一向都是新員工招聘當(dāng)中的一個(gè)重要參考因素，但是在為自己的電話服務(wù)中心招聘的時(shí)候，施樂(lè)發(fā)現(xiàn)了一個(gè)完全不同的參考標(biāo)準(zhǔn)，這點(diǎn)使得它更容易找到合適的人才。施樂(lè)利用大數(shù)據(jù)分析發(fā)現(xiàn)員工的個(gè)性才是決定他們留任與否的真正因素——富有創(chuàng)意的人會(huì)更傾向于堅(jiān)持下來(lái)，愛(ài)管閑事的人則不然。在掌握了這些信息之后，施樂(lè)開(kāi)始通過(guò)應(yīng)聘者調(diào)查（而不是招聘主管的決定）為自己的電話服務(wù)中心進(jìn)行招聘，最終使得它所有電話服務(wù)中心的半年員工流失率下降了 20%。

    然而，大部分企業(yè)都不能很好地利用數(shù)據(jù)。

    劣質(zhì)的大數(shù)據(jù)

    一直以來(lái)，企業(yè)都沒(méi)有花時(shí)間去思考它們應(yīng)該收集什么數(shù)據(jù)，還有采用怎樣的方式來(lái)收集數(shù)據(jù)。在數(shù)據(jù)的海洋中，他們不是使用長(zhǎng)矛精準(zhǔn)地捕捉漁獲，而是習(xí)慣于一網(wǎng)打盡，結(jié)果它們收集到的是一堆沒(méi)有任何預(yù)先計(jì)劃和結(jié)構(gòu)條理的垃圾。這種對(duì)困難決策的拖延態(tài)度導(dǎo)致大型企業(yè)的數(shù)據(jù)科學(xué)團(tuán)隊(duì)只能將大部分的時(shí)間花在清理、分類和組織數(shù)據(jù)之上，而且這些工作只能使用手動(dòng)或者半自動(dòng)的方式來(lái)完成。

    “利用智能、實(shí)用的數(shù)據(jù)進(jìn)行發(fā)展是每家企業(yè)都應(yīng)該追求的目標(biāo)。”

    美國(guó)政府最近任命的首席數(shù)據(jù)科學(xué)家 DJ·帕蒂爾（DJ Patil）很好地總結(jié)了數(shù)據(jù)的問(wèn)題 ，他表示，“你在開(kāi)始之前必須懂得一個(gè)非?；A(chǔ)的概念：數(shù)據(jù)是混亂不堪的，而且數(shù)據(jù)清理工作總會(huì)占據(jù) 80%的時(shí)間。換句話說(shuō)，數(shù)據(jù)本身就是問(wèn)題的所在?！?/span>

    然而我們看到的也并非只有壞消息。根據(jù)產(chǎn)業(yè)研究公司 Wikibon 的數(shù)據(jù)，在企業(yè)對(duì)數(shù)據(jù)工具投資當(dāng)中，有 52%的資金流向了用于采集和組織數(shù)據(jù)的技術(shù)之上，讓數(shù)據(jù)的獲取和分析變得更容易。但是處理這個(gè)難題的關(guān)鍵也許不只是在更多或更好的工具上投資。

    為你的企業(yè)應(yīng)用大數(shù)據(jù)

    如果要將企業(yè)真正轉(zhuǎn)變?yōu)橐患乙詳?shù)據(jù)為導(dǎo)向的公司，以下是一些值得關(guān)注的指引和方法，它們經(jīng)過(guò)了世界一流的數(shù)據(jù)公司的實(shí)踐檢驗(yàn)。

    了解你自己。 從了解你需要分析的數(shù)據(jù)類型開(kāi)始——你要的是事件數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)、圖表數(shù)據(jù)還是其他東西？在確定你需要以怎樣的程度來(lái)收集數(shù)據(jù)的時(shí)候， 這是最重要的考慮因素。

    不要過(guò)度授權(quán)。 許多企業(yè)都會(huì)將建立分析的工作交給外包開(kāi)發(fā)者或者 IT 部門負(fù)責(zé)，沒(méi)有讓真正的商業(yè)用戶參與其中——那些準(zhǔn)備使用這些數(shù)據(jù)的人應(yīng)該準(zhǔn)確了解數(shù)據(jù)的收集和匯總方式，這是至關(guān)重要的一點(diǎn)，因?yàn)檫@樣可以避免他們?cè)谑褂玫倪^(guò)程當(dāng)中出現(xiàn)重大的問(wèn)題。

    確定使用實(shí)例。 作為“不要過(guò)度授權(quán)”的推論，企業(yè)也不應(yīng)該讓商業(yè)用戶給出過(guò)于寬泛（例如，“我們想要追蹤銷售的來(lái)源”）或者無(wú)關(guān)緊要的使用實(shí)例。每一份數(shù)據(jù)都應(yīng)該符合某一個(gè)分析架構(gòu)，而且可以用于解決某一個(gè)問(wèn)題。這里就需要指派一位技術(shù)性很強(qiáng)的商業(yè)用戶或者具有商業(yè)頭腦的技術(shù)領(lǐng)導(dǎo)負(fù)責(zé)最終的決定。

    從源頭抓起。 無(wú)用輸入，無(wú)用輸出。請(qǐng)確保你對(duì)數(shù)據(jù)的來(lái)源和類型了如指掌。你的數(shù)據(jù)從何而來(lái)？它足夠準(zhǔn)確嗎？如果你不知道這些問(wèn)題的答案，那么你應(yīng)該開(kāi)始認(rèn)真思考了。

    使用合適的工具來(lái)完成工作。 現(xiàn)在已經(jīng)有很多非常優(yōu)秀的分析工具。在確定了你的商業(yè)用戶和終端用戶的重點(diǎn)使用實(shí)例之后，你應(yīng)該進(jìn)行一個(gè)正式的比較流程，根據(jù)你自己的需求剔除一些你永遠(yuǎn)都用不上的高級(jí)功能。

    大數(shù)據(jù)本身是愚蠢的。利用智能、實(shí)用的數(shù)據(jù)進(jìn)行發(fā)展是每家企業(yè)都應(yīng)該追求的目標(biāo)。