
從規(guī)劃開始,公司or企業(yè)如何入手和實施大數(shù)據
很多公司的大數(shù)據規(guī)劃付之闕如,本文將告訴你如何入手和實施。
問題所在
“大數(shù)據”及高級分析帶來的技術挑戰(zhàn)與組織挑戰(zhàn),很容易導致企業(yè)采用成本高昂卻低效的解決方法,或就此陷入。
為什么重要
數(shù)據挖掘正成為日益重要的技術優(yōu)勢。如果一開始的數(shù)據規(guī)劃就沒步上正軌,日后在競爭中很可能落于下風。
如何實施
精心制定大數(shù)據規(guī)劃。好規(guī)劃可推動公司戰(zhàn)略層面的決策,如篩選關鍵投資和項目取舍。這樣的計劃應聚焦三大核心因素:
大數(shù)據和高級分析帶給企業(yè)的好處毋庸置疑。通過對成功案例的持續(xù)研究,我們發(fā)現(xiàn)一旦大數(shù)據和分析技術被深入應用,可為企業(yè)帶來比競爭對手高出5到6個百分點的生產力和利潤1。全新的數(shù)據驅動型業(yè)務、對運營方式的透徹了解、更精確的預測以及更快速的測試等等,的確對企業(yè)很有吸引力。
但是要實現(xiàn)這些目標并不容易。需要大量投入資金,以及管理層的重大承諾。首席信息官強調要徹底改造數(shù)據架構和應用。外部供應商大力推銷黑盒子模型的無窮威力,宣稱該模型能通過破解非結構化數(shù)據找到因果關系。業(yè)務經理則苦思冥想,堅持要一開始就知道,投入以及給組織架構形成的潛在沖擊究竟能夠產生多大的收益。
答案很簡單,就是要扎扎實實地制定規(guī)劃。根據我們的經驗,大多數(shù)公司并沒有花應有的時間來創(chuàng)建一個數(shù)據、分析、一線工具和員工如何共同創(chuàng)造商業(yè)價值的簡單計劃。該計劃的作用在于提供一種通用語言,讓高管、技術專家、數(shù)據科學家和部門主管能夠一起討論最大的收益來自哪里,并且選擇兩到三個領域著手行動起來。這和管理層制定公司戰(zhàn)略的歷程有著異曲同工之妙。40年前,會制定周全翔實戰(zhàn)略計劃的公司只是少數(shù)。其中一部分領先者取得了卓越的成果。不久之后,大多數(shù)企業(yè)也掌握了當時新出現(xiàn)的計劃制定工具和框架。再說現(xiàn)在,幾乎沒有公司在一開始就制定數(shù)據和分析計劃。但我們相信,越來越多的高管很快就會意識到,制定大數(shù)據規(guī)劃是實現(xiàn)大數(shù)據潛力必不可少的第一步。
高質量戰(zhàn)略規(guī)劃的核心在于,凸顯企業(yè)必須做出的關鍵決策或取舍,并明確企業(yè)必須優(yōu)先考慮的舉措。例如,哪些業(yè)務應投入最多資金,應該強調更高的收益還是更快的增長,以及需要哪些能力以確保強勁的業(yè)績。在大數(shù)據和分析計劃推行的初期,企業(yè)應該解決類似這樣的問題:選擇需要整合的內外部數(shù)據,從一大堆潛在的分析模型和工具中找出最能夠支持商業(yè)目標的那部分,并培育相應的組織能力。
成功地做出以上取舍,需要公司高層進行跨部門的戰(zhàn)略對話,以確立投資重點,平衡速度、成本和接受度,并為一線互動創(chuàng)造條件。如果制定的計劃能夠解決這些關鍵問題,那么實現(xiàn)具體商業(yè)成果的可能性會更大,也可為高管層帶來足夠的信心。
成功的規(guī)劃應聚焦于三大核心要素。
數(shù)據
制定收集和整合數(shù)據的策略非常關鍵。企業(yè)忙于收集信息,但是BU橫向或職能部門縱向經常出現(xiàn)各自為政的問題。關鍵的數(shù)據可能存在于過去的IT系統(tǒng)中,且涵蓋客戶服務、定價和供應鏈等各個領域。關鍵信息經常以非結構化格式散落于公司外部,例如社交網絡的對話,更加劇了問題的復雜性。
要讓這些信息成為長期資產,通常需要大力投入建設新數(shù)據能力。規(guī)劃可以強調,未來需要對數(shù)據架構進行大規(guī)模重組:包括對混亂的數(shù)據庫進行篩選(將交易從分析報告中剝離出來),創(chuàng)建清晰的“黃金來源”2數(shù)據,并實施能夠有系統(tǒng)地保持準確性的數(shù)據治理標準。
一種信息在企業(yè)中僅存儲一次,以保證其準確性的做法。
就短期而言,有的企業(yè)可以采用更簡易的方法:將問題外包給數(shù)據專家,由他們使用云系統(tǒng)軟件整合足夠的數(shù)據,以抓住最初的分析機會。
分析模型
整合數(shù)據本身并不會創(chuàng)造價值。需要高級的分析模型來實現(xiàn)數(shù)據驅動的優(yōu)化(例如員工排班表或運輸網絡)或預測(例如航班延誤情況,或根據購買歷史、在線行為來預測客戶的需要及行動)。計劃必須能夠識別以下情況:模型可以在哪些領域創(chuàng)造額外的商業(yè)價值,誰需要使用模型,以及模型在組織內推廣時如何避免不一致和不必要的數(shù)據重復。
和新的數(shù)據來源一樣,企業(yè)最終會希望將這些模型連在一起,解決跨職能或跨BU的、更大范圍內的優(yōu)化問題。事實上,一個計劃可能需要數(shù)據分析“工廠”,從一系列不斷增加的變量中組合一系列模型,然后實施系統(tǒng)以進行追蹤。雖然模型可能極其強大,但也必須抵御完美分析的誘惑:太多變量將增加復雜性,讓模型的應用和維護變得更加困難。
工具
模型輸出的內容可能非常豐富,但是只有當經理(很多情況下是一線員工)能夠理解并使用它時,這些內容才有價值。太復雜的輸出可能難以把握,甚至不被信任。企業(yè)需要的是易于使用的工具,能夠將數(shù)據整合到日常的流程,并將模型輸出轉換為具體的流程,例如員工排班的清晰界面,呼叫中心的交叉營銷建議,或營銷經理作出實時打折決定的方法。很多企業(yè)沒有考慮或規(guī)劃這一步驟,最后發(fā)現(xiàn)經理和基層員工不會使用新模型,其有效性自然會大打折扣。
要促進數(shù)據、模型和工具的發(fā)展,組織能力也是一大關鍵推手。很多戰(zhàn)略規(guī)劃之所以失敗,原因就在于組織缺乏實施的能力。因此,如果組織缺乏合適的人才或能力,大數(shù)據計劃的結果很可能會令人失望。企業(yè)需要一張路線圖,按照合理的規(guī)模和構成來建設人才庫。最好的計劃還將進一步講述如何培養(yǎng)數(shù)據科學家、分析建模師和一線員工,讓他們在新的富含數(shù)據和工具的環(huán)境下發(fā)揮自身才華并努力實現(xiàn)更好的業(yè)績。
具備這些要素后,企業(yè)就可以制定綜合的大數(shù)據計劃(見下圖)。當然,不同行業(yè)在分析方法、決策支持工具和業(yè)務價值的來源等細節(jié)上皆有所不同。但值得注意的是,所有行業(yè)都具有結構相似性:絕大多數(shù)企業(yè)都需要為主要的數(shù)據整合活動制定計劃。這是因為,很多最具價值的模型和工具(如下圖右邊顯示)在建立時會越來越多地使用海量的數(shù)據來源(如下圖左邊顯示)。一般來說,這些來源將包括來自客戶(或病人)、交易或運營的內部數(shù)據,以及來自價值鏈或在線合作伙伴的外部信息。此外,未來還可能來自內嵌于物體的傳感器。
為了建立一個優(yōu)化治療和住院系統(tǒng)的模型,一家醫(yī)療保健行業(yè)的企業(yè)可能需要整合一系列患者和人口信息、藥品效果數(shù)據、醫(yī)療設備投入以及醫(yī)院的成本數(shù)據。而一家運輸企業(yè)可能需要整合實時定價信息、GPS和氣象資料以及員工的勞動生產率,以預測哪些航線、船只和貨物組合能夠產生最高的經濟效益。
根據我們的經驗,大數(shù)據規(guī)劃要引起總部高層領導的注意,包括確定投資重點、平衡速度和成本、確保一線員工認可。這些內容聽上去很耳熟,因為它們也是很多戰(zhàn)略計劃的組成部分。但是大數(shù)據和高級分析規(guī)劃還有一些重要的不同之處。
1. 投資重點和業(yè)務戰(zhàn)略的匹配
制定大數(shù)據規(guī)劃的一個普遍難題是如何將不同領域的交易、運營和客戶互動等數(shù)據整合起來。整合工作能夠帶來強有力的商業(yè)判斷,但是要建立新的數(shù)據架構、開發(fā)盡可能多的模型和工具,其投入巨大,因此應有所選擇。對于低成本、高銷量的零售商,可以通過門店銷售數(shù)據來預測庫存和勞動力成本,以維持低價。而與之相比,高端、高水平服務的零售商則需要進行更高的投資并對客戶數(shù)據進行匯總,以推廣客戶忠誠度項目,吸引客戶選擇利潤更高的產品,并提供定制服務。
就微觀層面而言,這是選擇投資重點所面臨的挑戰(zhàn):兩種方法聽上去都不錯,事實上也完全符合企業(yè)各自的業(yè)務需求??上攵@些方法也吸引了其他零售商的注意。那么在資源缺乏的情況時,如何在這些可能性(或其他可能性)中做出選擇?
在確定投資重點時,沒有什么能夠代替高管團隊的積極參與。在一家消費品公司,首席信息官通過大數(shù)據、建模和培訓等建立了價值創(chuàng)建潛在來源的熱圖,范圍涵蓋了公司所有業(yè)務系統(tǒng)的投資選擇。這份熱圖讓公司高管獲得了扎實的數(shù)據基礎,啟發(fā)他們開展討論并進行明智的取舍。盡管討論成果并不是一份完整的計劃,但一定是計劃成功的開始。
再來看一家大型銀行的例子。為了解決一個市場問題,該銀行建立了一支由首席信息官、首席市場官和BU負責人組成的團隊。銀行家們對直接營銷活動的結果表示不滿,因為成本居高不下,新產品的接受度卻令人失望。他們發(fā)現(xiàn)問題的核心在于各自為政的市場營銷方法。單個BU對客戶的財務背景和偏好不加考慮,向銀行所有客戶群推銷多種產品。那些可能最需要投資服務的客戶獲得的卻是存款產品的信息,反之亦然。
為了解決這個問題,高管團隊決定收集企業(yè)數(shù)據庫中的所有信息,包括收入水平、產品歷史、風險檔案等方面的數(shù)據。中央數(shù)據庫讓銀行能夠有針對性地向客戶提供他們可能更需要的產品或服務,從而提高了業(yè)務點擊率和營銷活動的效益。很多企業(yè)都會需要強大的計劃流程來凸顯類似的投資機會,并推動高管層拿出應有的參與度。
2. 平衡速度、成本和接受度
對于那些“擁有”企業(yè)數(shù)據和分析策略的高管而言,自然而然的反應是迅速開啟行動模式。一旦確定了某些投資重點,就不難找到開發(fā)相關應用和算法模型經驗的軟件及分析供應商。和內部開發(fā)的定制模型相比,這些套裝系統(tǒng)(包括定價、庫存管理、勞動力排班等)價格便宜,且易于安裝。但是它們畢竟不能和根據實際業(yè)務案例創(chuàng)建的應用相比,很難充分調動起經理們的積極性。系統(tǒng)有沒有結合具體行業(yè)和企業(yè)的業(yè)務特點,這在很大程度上決定了數(shù)據項目是否會成功。因此,為了盡量平衡可承受的成本和在現(xiàn)實業(yè)務中實施的速度(包括容易忽視的風險和組織敏感度),需要給計劃第二個維度。
忽略這一步驟的代價是什么,請看一家試圖提高小企業(yè)核保業(yè)務的銀行的經歷。分析團隊希望趕緊采取行動,因此匆匆忙忙建立了一個模型,但缺少計劃流程,也沒有讓充分了解業(yè)務的關鍵利益相關方參與進來。這個模型在理論上的測試很成功,但是實際上完全不可行,銀行為此損失慘重。管理層希望從頭再來,要求BU領導重新嘗試。修改后的模型建立在較為完整的數(shù)據的基礎上,其架構反映出不同客戶細分的差異,因此預測能力更好,最終減少了損失。這個例子告訴我們,大數(shù)據規(guī)劃面臨的管理挑戰(zhàn)至少和技術挑戰(zhàn)一樣大,沒有捷徑可走,必須付出努力,讓業(yè)務人員和數(shù)據專家通力合作,找出問題所在。
一家貨運公司的關鍵問題是如何在新數(shù)據/分析工具的潛在收益和業(yè)務風險之間找到平衡。當數(shù)據專家提議使用和客戶行為、定價和排班等相關的新模型時,由于已經習慣于現(xiàn)有的運營導向模型,高級經理們表示反對,且特別提出,昂貴的新數(shù)據方法是否會擾亂順暢的排班操作。數(shù)據經理于是在一個區(qū)域試點了開發(fā)原型(使用少量數(shù)據組和初步的電子表格分析),這才消除了大家的擔憂。有時候,確實有必要采取 “奔跑之前先學走路”的戰(zhàn)術以達到平衡,這也可以是計劃的一個組成部分。一家健康險公司面臨的關鍵挑戰(zhàn)則是緩解內部利益相關方的擔憂。公司設計的黑盒子模型在檢測歷史數(shù)據時,能夠非常準確地識別高于平均住院風險的慢性病患者。但臨床總監(jiān)認為,不能單靠一個不透明的分析模型來確定哪些患者應該接受昂貴的預防性治療方案。最終,該保險公司選擇了一個更為簡單和透明的數(shù)據和分析方法,在當前實踐的基礎上進行了改進,但是犧牲了一些準確性,結果可能使更多患者有資格接受治療。在數(shù)據規(guī)劃的早期提出不同意見并進行權衡,可以節(jié)約時間,避免慘重損失。
最終,有些規(guī)劃工作需要在降低成本的愿望(通過標準化)和反映業(yè)務現(xiàn)狀的需求(通過組合數(shù)據和建模)之間找到平衡點。就零售行業(yè)而言,企業(yè)擁有獨特的客戶基礎,有不同的定價方式來優(yōu)化銷量和利潤,也有著日常的銷售模式和庫存需求。比如,一家零售商很快以低成本建立了一套標準化的推薦商品模型3, 然后為網絡渠道制定了具體的推薦方案。但是,為了開發(fā)更加成熟的模型來預測區(qū)域性和季節(jié)性的購買模式并優(yōu)化供應鏈運營,這家零售商必須從社交媒體上收集非結構化的消費者數(shù)據,選擇內部的運營數(shù)據,同時按產品和門店的概念定制預測算法。一個平衡的大數(shù)據規(guī)劃需要這樣的組合方法。
基于分析客戶購買歷史的算法,一種預測客戶可能購買的下一個產品或服務的模型。
3. 確保重視一線部門的參與度和能力培養(yǎng)
一家航空公司在大力投入開發(fā)新的定價工具之后,發(fā)現(xiàn)收益管理分析師的生產效率仍然低于預期。問題出在哪里呢?工具太過復雜,沒有人用得來。另一家健康險公司則出現(xiàn)了不同的問題,醫(yī)生們抵制一種使治療方案更經濟的網絡應用。他們表示,如果非要使用這種新系統(tǒng),就必須為某些疾病提供能夠維持患者信任的治療方案,這一點他們認為非常重要。
出現(xiàn)這些問題的企業(yè)忽視了大數(shù)據規(guī)劃的第三個要素:調動組織的積極性。正如我們在描述大數(shù)據規(guī)劃的基本要素時所說的,計劃的第一步是建立一線主管能夠理解的分析模型。這種模型必須和易于使用的決策支持工具(可以稱之為制勝工具)相連接,并通過流程讓經理們對模型輸出運用自身經驗進行判斷。雖然少數(shù)分析方法(例如基本的銷售預測)是自動化的,只需要有限的一線員工參與,但大多數(shù)分析方法如果沒有管理層的支持就不會成功。
上述航空公司重新設計的定價工具的軟件界面,僅僅包括主要航線上競爭對手和產能利用率方面10—15種規(guī)則驅動的原型。一家零售商的情況與此類似,如果他們的商品價格比競爭對手網站上的價格高,就會出現(xiàn)提醒買家注意的信號,并允許買家自行定價。另一家零售商的經理現(xiàn)在能根據以往的銷售數(shù)據、天氣預報和計劃好的特賣活動,用平板電腦預測一天內每小時所需要的店員人數(shù)。
創(chuàng)建這種員工易于使用的工具僅僅是第一步。關注有效實施所需的組織能力也非常重要。多數(shù)公司認為,95%的大數(shù)據投入應該用于數(shù)據本身和建模。但是很多經理并沒有很強的分析背景,如果不能培養(yǎng)一線經理的能力并進行相關培訓,這些投入很可能收不到效果。因此大數(shù)據計劃的一條基本規(guī)律是,數(shù)據/建模和培訓的投入是一半對一半。
部分投入應該用于培養(yǎng)“雙?!苯浝?,他們既懂業(yè)務,又深諳如何運用數(shù)據和工具做出更好、更有分析依據的決策。有這樣的能力傍身,經理自然盼望有用武之地。企業(yè)還應該建立獎勵機制,吸引分析能力強的業(yè)務領導擔任數(shù)據工作負責人,并鼓勵部門之間傳播點子。一家快遞公司發(fā)現(xiàn)分析型人才散落在各個部門里,于是將他們集中在一起,為全公司提供服務。
計劃制定以后,執(zhí)行就比較容易了:可以按部就班地整合數(shù)據、啟動試點項目、創(chuàng)建新工具并展開培訓。在推動業(yè)務價值的清晰愿景下,不太可能遇到資金問題或內部抵制。當然,隨著時間的推移,最初的計劃到了將來也會有所調整。事實上,大數(shù)據和分析的一個主要益處就在于,您現(xiàn)在能學到以前聞所未聞的業(yè)務知識。
這可能和戰(zhàn)略規(guī)劃又有著相似之處。在很多組織中,正規(guī)的年度“教科書式” 戰(zhàn)略規(guī)劃流程已轉變?yōu)槌掷m(xù)性、參與更廣泛的動態(tài)流程。數(shù)據和分析計劃太重要了,不可能束之高閣。但這是明天才要面對的問題?,F(xiàn)在的狀況是,大數(shù)據規(guī)劃尚付之闕如。高管層的行動越快,企業(yè)就越有可能從數(shù)據中獲取真正的競爭優(yōu)勢。
數(shù)據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據處理中,日期格式轉換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據分析師:表結構數(shù)據 “獲取 - 加工 - 使用” 全流程的賦能者 表結構數(shù)據(如數(shù)據庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據分析師:解鎖表結構數(shù)據特征價值的專業(yè)核心 表結構數(shù)據(以 “行 - 列” 規(guī)范存儲的結構化數(shù)據,如數(shù)據庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數(shù)據差異是否 “ ...
2025-09-16CDA 數(shù)據分析師:掌控表格結構數(shù)據全功能周期的專業(yè)操盤手 表格結構數(shù)據(以 “行 - 列” 存儲的結構化數(shù)據,如 Excel 表、數(shù)據 ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據分析師:激活表格結構數(shù)據價值的核心操盤手 表格結構數(shù)據(如 Excel 表格、數(shù)據庫表)是企業(yè)最基礎、最核心的數(shù)據形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調用、數(shù)據爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據的科學計數(shù)法問題 為幫助 Python 數(shù)據從業(yè)者解決pd.read_csv讀取長浮點數(shù)據時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據分析師:業(yè)務數(shù)據分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據驅動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據分析師與戰(zhàn)略 / 業(yè)務數(shù)據分析:概念辨析與協(xié)同價值 在數(shù)據驅動決策的體系中,“戰(zhàn)略數(shù)據分析”“業(yè)務數(shù)據分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據聚類分析:從操作實踐到業(yè)務價值挖掘 在數(shù)據分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據解讀到決策支撐的價值導向 統(tǒng)計模型作為數(shù)據分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10