
大數(shù)據(jù)項(xiàng)目遭遇失敗的八個(gè)理由_數(shù)據(jù)分析師培訓(xùn)
大數(shù)據(jù)目前已經(jīng)成為萬(wàn)眾矚目的焦點(diǎn),已經(jīng)有眾多企業(yè)在拼命把自己的數(shù)據(jù)通過(guò)數(shù)據(jù)分析師對(duì)數(shù)據(jù)的分析后使用、希望借此為重要決策提供支持。盡管大數(shù)據(jù)宣傳與炒作可謂如火如荼,但仍有92%的企業(yè)始終保持中立態(tài)度,即計(jì)劃在“合適的時(shí)間”著手實(shí)施或者表示不打算接觸大數(shù)據(jù)項(xiàng)目。而在那些已經(jīng)親身實(shí)踐大數(shù)據(jù)項(xiàng)目的企業(yè)中,多數(shù)遭遇失敗、而且往往是掉進(jìn)了同樣的幾個(gè)陷阱當(dāng)中。
取得大數(shù)據(jù)項(xiàng)目成功的關(guān)鍵在于構(gòu)建一套迭代型方案,鼓勵(lì)現(xiàn)有員工參與并使用,從而在一系列無(wú)關(guān)緊要的失敗中學(xué)習(xí)知識(shí)并積累經(jīng)驗(yàn)。
從眾心理
大數(shù)據(jù)絕對(duì)是項(xiàng)轉(zhuǎn)折性的偉大技術(shù)成果。根據(jù)Gartner公司的調(diào)查,2013年中64%的受訪企業(yè)表示已經(jīng)購(gòu)買或者正計(jì)劃在大數(shù)據(jù)系統(tǒng)領(lǐng)域進(jìn)行投資,這一比例高于2012年調(diào)查中的58%。越來(lái)越多的企業(yè)開(kāi)始深入探索自己的數(shù)據(jù),嘗試?yán)锰N(yùn)藏在其中的信息最大程度減少客戶流失、分析財(cái)務(wù)風(fēng)險(xiǎn)并改善客戶體驗(yàn)。
在這64%認(rèn)同大數(shù)據(jù)思路的受訪者中,又有30%已經(jīng)在大數(shù)據(jù)技術(shù)方面投入資金、19%計(jì)劃在未來(lái)一年中進(jìn)行投資、另外15%則計(jì)劃在未來(lái)兩年內(nèi)進(jìn)行投資。不過(guò)在Gartner的全部720位調(diào)查對(duì)象中,只有不到8%已經(jīng)實(shí)際部署了大數(shù)據(jù)技術(shù)方案。
這樣的結(jié)果實(shí)在很糟糕,不過(guò)造成項(xiàng)目失敗的理由明顯更加糟糕:大多數(shù)企業(yè)根本不知道自己在邁入大數(shù)據(jù)領(lǐng)域后應(yīng)該做些什么。
難怪現(xiàn)在有那么多企業(yè)開(kāi)出可觀的薪酬數(shù)字來(lái)招徠并雇用數(shù)據(jù)分析師,目前其平均收入已經(jīng)達(dá)到每年12萬(wàn)3千美元。
八種導(dǎo)致失敗的理由
由于眾多企業(yè)在探索自有數(shù)據(jù)的過(guò)程中完全是在胡打誤撞,因此在意識(shí)到這一點(diǎn)后、他們決定向能帶來(lái)更具可預(yù)測(cè)性方案的專業(yè)人士求援(包括認(rèn)為數(shù)據(jù)科學(xué)家能夠奇跡般地隨手化解他們面臨的現(xiàn)實(shí)難題,甚至還有不少更夸張的預(yù)期)。Gartnerwngr Svetlana Sicular為我們匯總出八種導(dǎo)致大數(shù)據(jù)項(xiàng)目失敗的常見(jiàn)原因,它們分別是:
·管理層阻力。盡管數(shù)據(jù)當(dāng)中包含大量重要信息,但Fortune Knowledge公司發(fā)現(xiàn)有62%的企業(yè)領(lǐng)導(dǎo)者仍然傾向于相信自己的直覺(jué),更有61%的受訪者認(rèn)為領(lǐng)導(dǎo)者的實(shí)際洞察力在決策過(guò)程中擁有高于數(shù)據(jù)分析結(jié)論的優(yōu)先參考價(jià)值。
·選擇錯(cuò)誤的使用方法。企業(yè)往往會(huì)犯下兩種錯(cuò)誤,要么構(gòu)建起一套過(guò)分激進(jìn)、自己根本無(wú)法駕馭的大數(shù)據(jù)項(xiàng)目,要么嘗試?yán)脗鹘y(tǒng)數(shù)據(jù)技術(shù)處理大數(shù)據(jù)問(wèn)題。無(wú)論是哪種情況,都很有可能導(dǎo)致項(xiàng)目陷入困境。
·提出錯(cuò)誤的問(wèn)題。數(shù)據(jù)科學(xué)非常復(fù)雜,其中包含專業(yè)知識(shí)門類(需要深入了解銀行、零售或者其它行業(yè)的實(shí)際業(yè)務(wù)狀況);數(shù)學(xué)與統(tǒng)計(jì)學(xué)經(jīng)驗(yàn)以及編程技能等等。很多企業(yè)所雇用的數(shù)據(jù)科學(xué)家(數(shù)據(jù)分析師)只了解數(shù)學(xué)與編程方面的知識(shí),卻欠缺最重要的技能組成部分:對(duì)相關(guān)行業(yè)的了解。Sicular的觀點(diǎn)很對(duì),她表示大家最好能從企業(yè)內(nèi)部出發(fā)尋找數(shù)據(jù)科學(xué)家,因?yàn)椤皩W(xué)習(xí)Hadoop比學(xué)習(xí)相關(guān)行業(yè)的知識(shí)更簡(jiǎn)單”。
·缺乏必要的技能組合。這項(xiàng)理由與“提出錯(cuò)誤的問(wèn)題”緊密相關(guān)。很多大數(shù)據(jù)項(xiàng)目之所以陷入困境甚至最終失敗,正是因?yàn)椴痪邆浔匾南嚓P(guān)技能。通常負(fù)責(zé)此類項(xiàng)目的都是IT技術(shù)人員——而他們往往無(wú)法向數(shù)據(jù)提出足以指導(dǎo)決策的正確問(wèn)題。
·在大數(shù)據(jù)技術(shù)之外遇到了其它意外狀況。數(shù)據(jù)分析僅僅是大數(shù)據(jù)項(xiàng)目當(dāng)中的組成部分之一,訪問(wèn)并處理數(shù)據(jù)的能力同樣重要。除此之外,常常被忽略的因素還有網(wǎng)絡(luò)傳輸能力限制與人員培訓(xùn)等等。
· 與企業(yè)戰(zhàn)略存在沖突。要讓大數(shù)據(jù)項(xiàng)目獲得成功,大家必須擺脫將其作為單一“項(xiàng)目”的思路、真正把它當(dāng)成企業(yè)使用數(shù)據(jù)的核心方式。問(wèn)題在于,其它部門的價(jià)值或者戰(zhàn)略目標(biāo)有可能在優(yōu)先級(jí)方面高于大數(shù)據(jù),這種沖突往往會(huì)令我們有力無(wú)處使。
·大數(shù)據(jù)孤島。大數(shù)據(jù)供應(yīng)商總愛(ài)談?wù)摗?a href='/map/shujuhu/' style='color:#000;font-size:inherit;'>數(shù)據(jù)湖”或者“數(shù)據(jù)中樞”,但事實(shí)上很多企業(yè)建立起來(lái)的只能算是“數(shù)據(jù)水坑兒”,各個(gè)水坑兒之間存在著明顯的邊界——例如市場(chǎng)營(yíng)銷數(shù)據(jù)水坑兒與制造數(shù)據(jù)水坑兒等等。需要強(qiáng)調(diào)的是,只有盡量緩和不同部門之間的隔閡并將各方的數(shù)據(jù)流匯總起來(lái),大數(shù)據(jù)才能真正發(fā)揮自身價(jià)值。
·回避問(wèn)題。有時(shí)候我們可以肯定或者懷疑數(shù)據(jù)會(huì)迫使自身做出一些原本希望盡量避免的運(yùn)營(yíng)舉措,例如制藥行業(yè)之所以如此排斥情感分析機(jī)制、是因?yàn)樗麄儾幌M麑⒉涣几弊饔脠?bào)告給美國(guó)食品藥品管理局并承擔(dān)隨之而來(lái)的法律責(zé)任。
在這份理由清單中,大家可能已經(jīng)發(fā)現(xiàn)了一個(gè)共同的主題:無(wú)論我們?nèi)绾胃叨汝P(guān)注數(shù)據(jù)本身,都會(huì)有人為因素介入進(jìn)來(lái)。即使我們努力希望獲取對(duì)數(shù)據(jù)的全面控制權(quán),大數(shù)據(jù)處理流程最終還是由人來(lái)打理的,其中包括眾多初始決策——例如選擇哪些數(shù)據(jù)進(jìn)行收集與分析、向分析結(jié)論提出哪些問(wèn)題等等。
通過(guò)迭代實(shí)現(xiàn)創(chuàng)新
由于很多企業(yè)似乎根本無(wú)力建立起自己的大數(shù)據(jù)項(xiàng)目,再加上大多數(shù)大數(shù)據(jù)項(xiàng)目往往最終遭遇失敗,因此將迭代機(jī)制引入大數(shù)據(jù)是非常必要的。這不會(huì)迫使企業(yè)向咨詢企業(yè)或者供應(yīng)商支付大量費(fèi)用,大家最好能構(gòu)建起由內(nèi)部員工參與的免費(fèi)數(shù)據(jù)實(shí)驗(yàn)方案。
鑒于幾乎所有主要大數(shù)據(jù)技術(shù)都屬于開(kāi)源成果,因此建立起一套“初始規(guī)模較小、能夠快速發(fā)現(xiàn)問(wèn)題”的方案其實(shí)完全可行。更重要的是,很多平臺(tái)都能像云服務(wù)那樣立即起效且成本低廉,從而進(jìn)一步降低了進(jìn)行項(xiàng)目實(shí)驗(yàn)與發(fā)現(xiàn)錯(cuò)誤的資金投入。
大數(shù)據(jù)的關(guān)注重點(diǎn)在于提出正確的問(wèn)題,這也是讓企業(yè)內(nèi)部員工參與項(xiàng)目如此重要的理由。但即使擁有卓越的相關(guān)行業(yè)知識(shí),如果根本無(wú)法開(kāi)始提出問(wèn)題的流程、企業(yè)仍然無(wú)法收集到正確的數(shù)據(jù)。這類問(wèn)題也應(yīng)該被納入預(yù)期并作好相應(yīng)準(zhǔn)備。
解決問(wèn)題的關(guān)鍵在于使用靈活而開(kāi)放的數(shù)據(jù)基礎(chǔ)設(shè)施,保證其允許企業(yè)員工不斷調(diào)整實(shí)際方案、直到他們的努力獲得理想的回饋。通過(guò)這種方式,企業(yè)能夠消除恐懼并最終以迭代為武器順利邁向大數(shù)據(jù)有效使用的勝利彼岸。數(shù)據(jù)分析師培訓(xùn)
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11