大數(shù)據(jù)失敗案例的血淚教訓(xùn)訴說8個不能犯的錯誤

近年來，大數(shù)據(jù)旋風(fēng)以“迅雷不及掩耳之勢”席卷全球，不僅是信息領(lǐng)域，經(jīng)濟(jì)、政治、社會等諸多領(lǐng)域都“磨刀霍霍”向大數(shù)據(jù)，準(zhǔn)備在其中逐得一席之地。然而，很多公司在邁入大數(shù)據(jù)領(lǐng)域后遭遇“滑鐵盧”。在此，本文盤點(diǎn)了一系列大數(shù)據(jù)失敗項目，深究其原因，具有警示意義。

八個大數(shù)據(jù)項目失敗案例

對數(shù)據(jù)過于相信。2008年，Google第一次開始預(yù)測流感就取得了很好的效果，比美國疾病預(yù)防控制中心提前兩禮拜預(yù)測到了流感的爆發(fā)。但是，幾年之后，Google的預(yù)測比實(shí)際情況(由防控中心根據(jù)全美就診數(shù)據(jù)推算得出)高出了50%。媒體過于渲染了Google的成功，出于好奇目的而搜索相關(guān)關(guān)鍵詞的人越來越多，從而導(dǎo)致了數(shù)據(jù)的扭曲。

低估大數(shù)據(jù)復(fù)雜程度：在美國有幾個互聯(lián)網(wǎng)金融公司專做中小企業(yè)貸款。但是中小企業(yè)貸款涉及的數(shù)據(jù)更復(fù)雜，而且中小企業(yè)涉及到整個行業(yè)非常特殊的一些數(shù)據(jù)，比如非標(biāo)準(zhǔn)的財務(wù)報表和不同行業(yè)、不同范式的合同，他們沒有很專業(yè)的知識，是很難理解或者很難有時間把它準(zhǔn)確挖掘出來。

當(dāng)時大數(shù)據(jù)團(tuán)隊想用一個很完美的模型把所有的問題都解決掉，比如把市場和信貸的解決方案全部用一個模型來解決，但因為數(shù)據(jù)的復(fù)雜程度，最后證明這種方法是失敗的，而且90%的時間都在做數(shù)據(jù)清理。這就說明，想通過大數(shù)據(jù)技術(shù)一下子解決所有的問題是很難成功的，而是要用抽絲剝繭、循序漸進(jìn)的方式。

管理層的惰性：某家旅游公司系統(tǒng)通過web日志數(shù)據(jù)的挖掘來提升客戶洞察。結(jié)果證明，用戶在瀏覽網(wǎng)站之后，隨后的消費(fèi)行為模式與管理層所認(rèn)為的不一致。當(dāng)團(tuán)隊匯報此事時，管理層認(rèn)為不值一提。但是，該團(tuán)隊并沒有放棄，并通過嚴(yán)密的A/B測試，回?fù)袅斯芾韺拥妮p視。

這個案例的最終結(jié)果，不是每個CIO都能期盼的。但是，有一點(diǎn)是可以確定的：做好和管理層打交道的準(zhǔn)備，讓他們充分理解大數(shù)據(jù)是什么以及相應(yīng)的價值。

應(yīng)用場景選擇錯誤。一家保險公司想了解日常習(xí)慣和購買生命保險意愿之間的關(guān)聯(lián)性。由于隨后覺得習(xí)慣太過于寬泛，該公司將調(diào)查范疇限定到是否吸煙上。但是，工作仍然沒有實(shí)質(zhì)進(jìn)展。不到半年，他們就終止了整個項目，因為一直未能發(fā)現(xiàn)任何有價值的信息。

這個項目的失敗是由于問題的復(fù)雜性。在抽煙與否之間，該公司沒有注意到還有大片灰色地帶：很多人是先抽煙而后又戒煙了。在將問題簡單化動機(jī)的驅(qū)動下，這個部分被忽略了。

問題梳理不夠全面。一家全球性公司的大數(shù)據(jù)團(tuán)隊發(fā)現(xiàn)了很多深刻的洞察，并且計劃通過云讓全公司共享。結(jié)果這個團(tuán)隊低估了效率方面的損耗，由于網(wǎng)絡(luò)擁塞的問題，無法滿足全球各個分支順暢提交數(shù)據(jù)運(yùn)行分析的需求。

該公司應(yīng)該仔細(xì)思考下如何支撐大數(shù)據(jù)項目，梳理所需的技能并協(xié)調(diào)各IT分支的力量進(jìn)行支持。由于網(wǎng)絡(luò)、安全或基礎(chǔ)設(shè)施的問題，已經(jīng)有太多的大數(shù)據(jù)項目栽了跟頭。

缺乏大數(shù)據(jù)分析技能。一家零售公司的首席執(zhí)行官不認(rèn)同亞馬遜規(guī)?；?、扁平化的服務(wù)模式，因此讓CIO構(gòu)建一個客戶推薦引擎。項目最初的規(guī)劃是半年為期，但是團(tuán)隊很快認(rèn)識到諸如協(xié)同過濾(collaborative filtering)之類的概念無法實(shí)現(xiàn)。為此，一個團(tuán)隊成員提出做一個“假的推薦引擎”，把床單作為唯一的推薦產(chǎn)品。這個假引擎的工作邏輯是：買攪拌機(jī)的人會買床單，買野營書籍的人會買床單，買書的人會買床單。就是如此，床單是唯一的、默認(rèn)的推薦品。

盡管可笑，這個主意其實(shí)并不壞，默認(rèn)的推薦也能給企業(yè)帶來銷售上的提升。但是，由于大數(shù)據(jù)相關(guān)技能的缺失，真正意義上的引擎未能實(shí)現(xiàn)。

提出了錯誤的問題。一家全球領(lǐng)先的汽車制造商決定開展一個情感分析項目，為期6個月，耗資1千萬美元。項目結(jié)束之后，該廠商將結(jié)果分享給經(jīng)銷商并試圖改變銷售模式。然后，所得出的結(jié)果最終被證明是錯誤的。項目團(tuán)隊沒有花足夠的時間去了解經(jīng)銷商所面臨的問題或業(yè)務(wù)建議，從而導(dǎo)致相關(guān)的分析毫無價值。

應(yīng)用了錯誤的模型。某銀行為判斷電信行業(yè)的客戶流失情況，從電信業(yè)聘請了一位專家，后者也很快構(gòu)建了評估用戶是否即將流失的模型。當(dāng)時已進(jìn)入評測驗證的最后階段，模型很快就將上線，而銀行也開始準(zhǔn)備給那些被認(rèn)為即將流失的客戶發(fā)出信件加以挽留。

但是，為了保險起見，一位內(nèi)部專家被要求對模型進(jìn)行評估。這位銀行業(yè)專家很快發(fā)現(xiàn)了令人驚奇的事情：不錯，那些客戶的確即將流失，但并不是因為對銀行的服務(wù)不滿意。他們之所以轉(zhuǎn)移財產(chǎn)(有時是悄無聲息的)，是因為感情問題——正在為離婚做準(zhǔn)備。

可見，了解模型的適用性、數(shù)據(jù)抽象的級別以及模型中隱含的細(xì)微差別，這些都是非常具有挑戰(zhàn)性的。

八種導(dǎo)致失敗的理由

縱觀上述失敗案例，可歸結(jié)為以下八種導(dǎo)致大數(shù)據(jù)項目失敗的常見原因。

管理層阻力。盡管數(shù)據(jù)當(dāng)中包含大量重要信息,但Fortune Knowledge公司發(fā)現(xiàn)有62%的企業(yè)領(lǐng)導(dǎo)者仍然傾向于相信自己的直覺,更有61%的受訪者認(rèn)為領(lǐng)導(dǎo)者的實(shí)際洞察力在決策過程中擁有高于數(shù)據(jù)分析結(jié)論的優(yōu)先參考價值。

選擇錯誤的使用方法。企業(yè)往往會犯下兩種錯誤,要么構(gòu)建起一套過分激進(jìn)、自己根本無法駕馭的大數(shù)據(jù)項目,要么嘗試?yán)脗鹘y(tǒng)數(shù)據(jù)技術(shù)處理大數(shù)據(jù)問題。無論是哪種情況,都很有可能導(dǎo)致項目陷入困境。

提出錯誤的問題。數(shù)據(jù)科學(xué)非常復(fù)雜,其中包含專業(yè)知識門類(需要深入了解銀行、零售或者其它行業(yè)的實(shí)際業(yè)務(wù)狀況);數(shù)學(xué)與統(tǒng)計學(xué)經(jīng)驗以及編程技能等等。很多企業(yè)所雇用的數(shù)據(jù)科學(xué)家只了解數(shù)學(xué)與編程方面的知識,卻欠缺最重要的技能組成部分——對相關(guān)行業(yè)的了解，因此最好能從企業(yè)內(nèi)部出發(fā)尋找數(shù)據(jù)科學(xué)家。

缺乏必要的技能組合。這項理由與“提出錯誤的問題”緊密相關(guān)。很多大數(shù)據(jù)項目之所以陷入困境甚至最終失敗,正是因為不具備必要的相關(guān)技能。通常負(fù)責(zé)此類項目的都是IT技術(shù)人員——而他們往往無法向數(shù)據(jù)提出足以指導(dǎo)決策的正確問題。

與企業(yè)戰(zhàn)略存在沖突。要讓大數(shù)據(jù)項目獲得成功,大家必須擺脫將其作為單一“項目”的思路、真正把它當(dāng)成企業(yè)使用數(shù)據(jù)的核心方式。問題在于,其它部門的價值或者戰(zhàn)略目標(biāo)有可能在優(yōu)先級方面高于大數(shù)據(jù),這種沖突往往會令我們有力無處使。

大數(shù)據(jù)孤島。大數(shù)據(jù)供應(yīng)商總愛談?wù)摗?a href='/map/shujuhu/' style='color:#000;font-size:inherit;'>數(shù)據(jù)湖”或者“數(shù)據(jù)中樞”,但事實(shí)上很多企業(yè)建立起來的只能算是“數(shù)據(jù)水坑兒”,各個水坑兒之間存在著明顯的邊界——例如市場營銷數(shù)據(jù)水坑兒與制造數(shù)據(jù)水坑兒等等。需要強(qiáng)調(diào)的是,只有盡量緩和不同部門之間的隔閡并將各方的數(shù)據(jù)流匯總起來,大數(shù)據(jù)才能真正發(fā)揮自身價值。

在大數(shù)據(jù)技術(shù)之外遇到了其它意外狀況。數(shù)據(jù)分析僅僅是大數(shù)據(jù)項目當(dāng)中的組成部分之一,訪問并處理數(shù)據(jù)的能力同樣重要。除此之外,常常被忽略的因素還有網(wǎng)絡(luò)傳輸能力限制與人員培訓(xùn)等等。

回避問題。有時候我們可以肯定或者懷疑數(shù)據(jù)會迫使自身做出一些原本希望盡量避免的運(yùn)營舉措,例如制藥行業(yè)之所以如此排斥情感分析機(jī)制、是因為他們不希望將不良副作用報告給美國食品藥品管理局并承擔(dān)隨之而來的法律責(zé)任。

在這份理由清單中,大家可能已經(jīng)發(fā)現(xiàn)了一個共同的主題:無論我們?nèi)绾胃叨汝P(guān)注數(shù)據(jù)本身,都會有人為因素介入進(jìn)來。即使我們努力希望獲取對數(shù)據(jù)的全面控制權(quán),大數(shù)據(jù)處理流程最終還是由人來打理的,其中包括眾多初始決策——例如選擇哪些數(shù)據(jù)進(jìn)行收集與分析、向分析結(jié)論提出哪些問題等等。

為防止大數(shù)據(jù)項目遭遇失敗，引入迭代機(jī)制是非常必要的。使用靈活而開放的數(shù)據(jù)基礎(chǔ)設(shè)施,保證其允許企業(yè)員工不斷調(diào)整實(shí)際方案、直到他們的努力獲得理想的回饋，最終以迭代為武器順利邁向大數(shù)據(jù)有效使用的勝利彼岸。