從What到How,大數(shù)據(jù)實(shí)戰(zhàn)攻略秘笈_(tái)數(shù)據(jù)分析師培訓(xùn)

為什么大數(shù)據(jù)專案的失敗率高達(dá)55％？你是每?jī)蓚€(gè)中就失敗的那一個(gè)嗎？看大數(shù)據(jù)實(shí)戰(zhàn)攻略秘笈，自我診斷你是否還深陷大數(shù)據(jù)迷思不可自拔，一起破解大數(shù)據(jù)獲利方程式。

馬云、白宮、釋昭慧和貓下去餐廳有什么共通點(diǎn)？答案是大數(shù)據(jù)。今年3月，阿里巴巴集團(tuán)創(chuàng)辦人馬云來(lái)臺(tái)的演講中提到：「未來(lái)已不是IT時(shí)代，而是DT（Data Technology）時(shí)代！」揭示大數(shù)據(jù)對(duì)阿里巴巴集團(tuán)的重要性。一個(gè)星期后，白宮宣布任命PayPal和eBay的前任執(zhí)行長(zhǎng)帕帝亞（DJ Patil），為全美國(guó)第一個(gè)首席數(shù)據(jù)科學(xué)家，幫助政府善用大數(shù)據(jù)，并鞏固美國(guó)在數(shù)據(jù)科學(xué)領(lǐng)域的領(lǐng)先地位。而日前慈濟(jì)內(nèi)湖開(kāi)發(fā)案鬧得沸沸揚(yáng)揚(yáng)，釋昭慧上談話性節(jié)目時(shí)，竟也引用大數(shù)據(jù)，暗喻慈濟(jì)遭教會(huì)保守勢(shì)力暗算。臺(tái)北市知名餐廳貓下去小館在3月宣布取消訂位服務(wù)的同時(shí)，也不忘提到大數(shù)據(jù)證明自己取消訂位服務(wù)后，營(yíng)業(yè)額不降反升。

無(wú)論這些大數(shù)據(jù)到底是不是真的「大」數(shù)據(jù)，都說(shuō)明了一件事：大數(shù)據(jù)發(fā)展至今，幾乎已經(jīng)成為全民常識(shí)。從科技大佬、政治名人到市井小民，隨口都可以說(shuō)上幾句大數(shù)據(jù)的大道理，大數(shù)據(jù)的熱門程度可見(jiàn)一斑。但是你真的懂大數(shù)據(jù)嗎？或者是說(shuō)，你真的會(huì)用大數(shù)據(jù)嗎？

從What到How

大數(shù)據(jù)變了，它變得更成熟也更主流了，以前你對(duì)大數(shù)據(jù)一知半解，依稀知道大數(shù)據(jù)可以干嘛，但現(xiàn)在這已經(jīng)遠(yuǎn)遠(yuǎn)不夠了?！竷赡昵埃蛻魰?huì)問(wèn)大數(shù)據(jù)是什么？現(xiàn)在會(huì)問(wèn)要怎么切入大數(shù)據(jù)、有什么題目可以做？一些進(jìn)階企業(yè)甚至?xí)?wèn)，如何用更新的工具，讓效率更快或價(jià)值更高？大家問(wèn)的題目變具體了?！笽BM軟體事業(yè)處總經(jīng)理賈景光說(shuō)。

市場(chǎng)研究機(jī)構(gòu)Gartner去年8月發(fā)布的「科技成熟度報(bào)告」顯示，大數(shù)據(jù)已經(jīng)從過(guò)熱高峰期過(guò)渡到幻滅谷底期。報(bào)告中指出，「市場(chǎng)對(duì)大數(shù)據(jù)的興致未減，但由於市場(chǎng)上開(kāi)始出現(xiàn)越來(lái)越多樣的大數(shù)據(jù)應(yīng)用，各式尖端數(shù)據(jù)處理技術(shù)和應(yīng)用陸續(xù)推陳出新，這讓大數(shù)據(jù)開(kāi)始揮別期望過(guò)熱期，步入幻滅低谷期?！惯@說(shuō)明大數(shù)據(jù)并非即將滅亡，相反的，大數(shù)據(jù)越來(lái)越成熟。交大產(chǎn)業(yè)加速器暨專利開(kāi)發(fā)策略中心產(chǎn)業(yè)分析師黃秋華認(rèn)為，幻滅才是成長(zhǎng)的開(kāi)始，大數(shù)據(jù)應(yīng)用在未來(lái)只會(huì)越來(lái)越多，而且越來(lái)越多元，市場(chǎng)已普遍對(duì)大數(shù)據(jù)有所認(rèn)識(shí)，各大企業(yè)也都已導(dǎo)入大數(shù)據(jù)專案。

每年都會(huì)在部落格上發(fā)布大數(shù)據(jù)產(chǎn)業(yè)地圖的FirstMark Capital營(yíng)運(yùn)總監(jiān)特克（Matt Turck），在2014年發(fā)布的大數(shù)據(jù)產(chǎn)業(yè)板塊圖中，數(shù)據(jù)應(yīng)用的勢(shì)力越來(lái)越大，跟2012年一比，數(shù)據(jù)應(yīng)用已占整個(gè)產(chǎn)業(yè)板塊近四分之一強(qiáng)。種種現(xiàn)象皆說(shuō)明，大數(shù)據(jù)已經(jīng)過(guò)了紙上談兵的階段，進(jìn)入短兵相接時(shí)期。那問(wèn)題來(lái)了，你該怎么做？

「大數(shù)據(jù)即將在5年內(nèi)消失！」去年被Exebank選為全美排名第4首席技術(shù)長(zhǎng)的Teradata技術(shù)長(zhǎng)寶立明（Stephen Brobst），在接受《數(shù)位時(shí)代》專訪時(shí)表示，「很多人以為大數(shù)據(jù)就是指大量的數(shù)據(jù)，事實(shí)上，我認(rèn)為這是大數(shù)據(jù)中最無(wú)趣的部分。我們真正在尋找的是非傳統(tǒng)的、未曾被挖掘過(guò)的數(shù)據(jù)，并且從這些數(shù)據(jù)中去提煉出價(jià)值。我相信在5年內(nèi)，我們就不會(huì)再使用大數(shù)據(jù)這個(gè)詞了，到頭來(lái)大數(shù)據(jù)就只是數(shù)據(jù)而已?！?/span>

要用大數(shù)據(jù)，先打破迷思

寶立明意指，大數(shù)據(jù)將成為每家企業(yè)的DNA和未來(lái)能否保持競(jìng)爭(zhēng)優(yōu)勢(shì)的關(guān)鍵，因此大數(shù)據(jù)本身已經(jīng)不重要了，怎么用大數(shù)據(jù)才是重點(diǎn)。他認(rèn)為亟需被打破的迷思，就是大數(shù)據(jù)很大這件事。事實(shí)上，大數(shù)據(jù)是個(gè)非常差勁的命名，因?yàn)檫@讓人們直接聯(lián)想到數(shù)量，但其實(shí)數(shù)據(jù)的量從來(lái)都不是重點(diǎn)，如何將數(shù)據(jù)轉(zhuǎn)換成商業(yè)價(jià)值才是關(guān)鍵。

阿里巴巴副總裁車品覺(jué)在接受《數(shù)位時(shí)代》專訪時(shí)，也有類似觀點(diǎn)：「忘掉大數(shù)據(jù)吧！如果大數(shù)據(jù)已經(jīng)成為常態(tài)元素了，你何必特別講出來(lái)呢？」車品覺(jué)認(rèn)為，大數(shù)據(jù)只是創(chuàng)新決策的一種新工具，不用把它想得太萬(wàn)能，不是所有的問(wèn)題都是數(shù)據(jù)問(wèn)題，也不是所有的問(wèn)題，大數(shù)據(jù)都能解決，「不用太神化它，太多的行外人把它講得很神，反而我們業(yè)內(nèi)人不敢說(shuō)得太神話，因?yàn)橹纼冬F(xiàn)不了?！?/span>

關(guān)於大數(shù)據(jù)迷思，第一個(gè)你要知道的就是：大數(shù)據(jù)不是神，更不是萬(wàn)靈丹，以及大不大根本就不是重點(diǎn)。那重點(diǎn)是什么呢？

協(xié)助解決商業(yè)問(wèn)題

「Big Data這個(gè)名字事實(shí)上是有點(diǎn)誤導(dǎo)，真正賺錢的是，從大數(shù)據(jù)萃取出來(lái)的大智慧（Big Intelligence）?！购团婵萍紕?chuàng)辦人翟本喬說(shuō)。翟本喬以今年甫獲得奧斯卡獎(jiǎng)的《模仿游戲》（The Imitation Game）為例，說(shuō)明大數(shù)據(jù)價(jià)值鏈中的關(guān)鍵角色：世界二次大戰(zhàn)中，電腦之父圖靈（Alan Mathison Turing）帶領(lǐng)英國(guó)情報(bào)局打敗德軍，潛水艇的無(wú)線電波傳來(lái)傳去，聽(tīng)起來(lái)像雜音，這里頭嘟嘟嘟的聲音叫做數(shù)據(jù)（Data）。就算你知道它是摩斯密碼里面的某一個(gè)字，可是這又怎么樣？做機(jī)器的不是最有價(jià)值的，做那個(gè)破解密碼的機(jī)器也不是最有價(jià)值的。你如果能把它破解出來(lái)，知道德國(guó)潛水艇在什么時(shí)候去哪里攻擊你的艦隊(duì)，然后根據(jù)這個(gè)情報(bào)做出反應(yīng)，消滅德國(guó)艦隊(duì)，這才是最有價(jià)值的。

大數(shù)據(jù)若只有技術(shù)，但缺乏商業(yè)眼光和解決問(wèn)題的能力，那其實(shí)不叫大數(shù)據(jù)，而更像一場(chǎng)大災(zāi)難。根據(jù)2013年大數(shù)據(jù)公司InfoChimps的報(bào)告，大數(shù)據(jù)專案的失敗率遠(yuǎn)高於一般IT專案，大數(shù)據(jù)專案的失敗率高達(dá)55％，而一般IT專案是25％，等於每?jī)蓚€(gè)大數(shù)據(jù)專案就有一個(gè)會(huì)失敗。

大數(shù)據(jù)專案的失敗率為什么這么高？企業(yè)主的思維沒(méi)有調(diào)整過(guò)來(lái)、缺少商業(yè)眼光、過(guò)度重視技術(shù)以及操之過(guò)急，都是導(dǎo)致大數(shù)據(jù)專案比一般IT專案更容易失敗的原因。但其實(shí)打從一開(kāi)始，大數(shù)據(jù)就不應(yīng)該只是IT專案?！讣夹g(shù)和平臺(tái)只是一個(gè)工具，它還需要很多策略執(zhí)行面的配套，大數(shù)據(jù)的成效才會(huì)發(fā)生。技術(shù)造成大數(shù)據(jù)不成功的機(jī)率很低，因?yàn)榇蠹业募夹g(shù)成熟度都非常高，不管是大數(shù)據(jù)、中數(shù)據(jù)還是小數(shù)據(jù)，都是要解決業(yè)務(wù)上的問(wèn)題。」賈景光表示。

企業(yè)主過(guò)度相信經(jīng)驗(yàn)，是導(dǎo)致大數(shù)據(jù)專案失敗的一大原因，事實(shí)上，這可能是影響最重大的一項(xiàng)，畢竟企業(yè)主若沒(méi)有體認(rèn)到數(shù)據(jù)決策的重要性，那么企業(yè)談再多用大數(shù)據(jù)變現(xiàn)都是枉然。商業(yè)分析軟體大廠賽仕電腦（SAS）副總經(jīng)理高芬蒂表示，任何企業(yè)不管大小，只要懂得運(yùn)用數(shù)據(jù)做決策，勝出機(jī)率一定比較大。但如果只是憑著經(jīng)驗(yàn)拍腦袋，沒(méi)有跟別人做出差異化，便比較容易失敗。

大企業(yè)紛用大數(shù)據(jù)拚轉(zhuǎn)型

無(wú)論企業(yè)新舊大小，大數(shù)據(jù)已開(kāi)始全面進(jìn)入各行各業(yè)，而且不同產(chǎn)業(yè)對(duì)大數(shù)據(jù)的關(guān)注點(diǎn)都不一樣。例如便利商店強(qiáng)打即時(shí)方便，特別注重導(dǎo)購(gòu)和促銷。金融業(yè)則因其商品特性較為敏感且個(gè)人化，特別注重與顧客之間建立信任關(guān)系。電信業(yè)坐擁大量數(shù)據(jù)，但受限於法規(guī)，目前聚焦於用大數(shù)據(jù)提升服務(wù)品質(zhì)。

大數(shù)據(jù)商業(yè)模式?jīng)]有所謂一體適用的通則，但卻有各產(chǎn)業(yè)都會(huì)遇上的共同困擾：大數(shù)據(jù)團(tuán)隊(duì)的管理問(wèn)題。大數(shù)據(jù)亟需跨部門的整合協(xié)作，因此幾乎所有成功的大數(shù)據(jù)案例，皆有設(shè)立專門統(tǒng)籌數(shù)據(jù)并和其他部門協(xié)調(diào)的單位，而且設(shè)置層級(jí)越高越好。例如IBM負(fù)責(zé)掌管大數(shù)據(jù)的市場(chǎng)智慧（Marketing Intelligence）部門，就直接隸屬於總經(jīng)理辦公室。而遠(yuǎn)傳電信的大數(shù)據(jù)智慧部也強(qiáng)調(diào)跨部門合作，讓數(shù)據(jù)技術(shù)人員和行銷、業(yè)務(wù)等部門互通有無(wú)，交換想法，好讓數(shù)據(jù)分析更貼近實(shí)際業(yè)務(wù)需求。

小型企業(yè)也能玩大數(shù)據(jù)

最后，大數(shù)據(jù)是否成功，與企業(yè)大小并無(wú)直接關(guān)系，任何懂得善用數(shù)據(jù)做決策和創(chuàng)新的企業(yè)，都稱得上是擁有大數(shù)據(jù)思維的企業(yè)。即使沒(méi)有大數(shù)據(jù)，也不用妄自菲薄。如果你是中小企業(yè)，不要急著大興土木建設(shè)大數(shù)據(jù)環(huán)境，不妨先盤點(diǎn)看看企業(yè)內(nèi)部的數(shù)據(jù)是否開(kāi)放透明，而且彼此相容。然后小規(guī)模地測(cè)試模型是否可行，確認(rèn)想法是可復(fù)制的，再行大規(guī)模布署。另一方面，無(wú)論企業(yè)大小，先問(wèn)對(duì)問(wèn)題，事情就解決了一半，好問(wèn)題會(huì)決定整個(gè)大數(shù)據(jù)專案的數(shù)據(jù)蒐集策略和種類。

中研院資科所研究員陳昇瑋說(shuō)：「大家都在忙著打造鍋?zhàn)印N房和刀子，但好的廚師比較沒(méi)有那么多，臺(tái)灣廠商總覺(jué)得一定要把廚房準(zhǔn)備好才能做菜，第一步就打造技術(shù)團(tuán)隊(duì)或是買技術(shù)平臺(tái)，但其實(shí)絕大多數(shù)的企業(yè)都不需要這樣做，因?yàn)榕_(tái)灣廠商真正擁有大數(shù)據(jù)的并不多?！?/span>

在大企業(yè)之外，其實(shí)新創(chuàng)企業(yè)也在整個(gè)大數(shù)據(jù)價(jià)值鏈中扮演重要角色，發(fā)揮小兵立大功的力量，值得關(guān)注。例如才成立不到1年的科智，以制造業(yè)數(shù)據(jù)管理平臺(tái)服務(wù)奪得臺(tái)灣第一座英特爾APEC挑戰(zhàn)賽冠軍獎(jiǎng)盃。還有自詡為大數(shù)據(jù)礦工手中鏟子的云深創(chuàng)新，其大數(shù)據(jù)推薦系統(tǒng)讓HiNet新聞社群的黏著度提升了20％，同樣令人驚艷。

從大企業(yè)到小新創(chuàng)，大數(shù)據(jù)，你學(xué)會(huì)了嗎？

數(shù)據(jù)解讀大數(shù)據(jù)

1.企業(yè)的大數(shù)據(jù)現(xiàn)況

過(guò)去一年，在美國(guó)已經(jīng)展開(kāi)數(shù)據(jù)主導(dǎo)計(jì)畫(huà)的組織成長(zhǎng)了125％，但其中有42％還在討論如何實(shí)行。

80％大企業(yè)及63％中小企業(yè)正開(kāi)展數(shù)據(jù)主導(dǎo)的計(jì)畫(huà)

2.最普遍的數(shù)據(jù)來(lái)源

63％客戶數(shù)據(jù)庫(kù)

61％電子郵件

53％交易數(shù)據(jù)

51％工作清單

48％ Word文件

3.未來(lái)一年的大數(shù)據(jù)預(yù)算規(guī)劃

36％計(jì)畫(huà)增加

41％沒(méi)有增減

企業(yè)平均花費(fèi)740萬(wàn)美元，采取數(shù)據(jù)相關(guān)的初步行動(dòng)

大型企業(yè)：1,380萬(wàn)美元

中小企業(yè)：160萬(wàn)美元

4.大數(shù)據(jù)計(jì)畫(huà)時(shí)間表

30％目前沒(méi)有規(guī)劃

27％已經(jīng)展開(kāi)大數(shù)據(jù)計(jì)畫(huà)

14％正在進(jìn)行大數(shù)據(jù)概念驗(yàn)證

12％未來(lái)1年內(nèi)會(huì)啟動(dòng)大數(shù)據(jù)計(jì)畫(huà)

8％有規(guī)劃但沒(méi)有明確時(shí)間表

8％考慮未來(lái)13～24個(gè)月施行計(jì)畫(huà)

5.大數(shù)據(jù)預(yù)算的三大領(lǐng)域

58％數(shù)據(jù)分析

42％數(shù)據(jù)可視化

38％數(shù)據(jù)采礦

6.大數(shù)據(jù)專案的目標(biāo)

61％增進(jìn)決策品質(zhì)

57％幫助預(yù)測(cè)及規(guī)劃

51％增加決策速度

7.大數(shù)據(jù)的三大挑戰(zhàn)

48％技術(shù)人員的能力限制

47％預(yù)算的限制

40％舊數(shù)據(jù)的處理能力

注：今年3月IDG Enterprise揭露了最新的大數(shù)據(jù)調(diào)查報(bào)告，主要是針對(duì)美國(guó)、英國(guó)、澳洲1,139間企業(yè)進(jìn)行的調(diào)查結(jié)果。