
大數(shù)據(jù)如何貢獻大價值
一切的現(xiàn)象都在告訴人們,一個新的科技時代似乎正在來臨。有些IT職業(yè)追潮人士甚至激動地認為“人類歷史上第三次科技革命”即將到來。
大數(shù)據(jù)之惑
問題在于,什么是大數(shù)據(jù)?為什么人人言必稱大數(shù)據(jù)?
“很大很大的數(shù)據(jù)”就是大數(shù)據(jù)。對“大”的定義在不斷刷新。10年前1GB數(shù)據(jù)已經(jīng)很大了,今天,1000GB并不算太大。
問題其實不在于大,而在價值。“大數(shù)據(jù)”再大仍舊只是數(shù)據(jù),沒有足夠有效的分析與應用,一切數(shù)據(jù)都是垃圾。紐約時報專欄作家David
Brooks認為,缺乏足夠有效的分析是大數(shù)據(jù)的最大問題:越來越多的數(shù)據(jù),帶來越來越多的相關性;其實很多相關性都是沒有意義的,這種欺騙性質(zhì)的數(shù)據(jù)關聯(lián)會把數(shù)據(jù)管理者和使用者引入歧途,浪費大量的人力物力去管理、分析這些數(shù)據(jù)。
除了傳統(tǒng)意義上人們認為的那些有行有列有數(shù)值或者文字的數(shù)據(jù)表單之外,IT技術還幫助人們收集了越來越多的其他類型的資料,比如視頻,語音,圖片,文檔等。這些被稱為“非結構化數(shù)據(jù)”。
結構化與非結構化數(shù)據(jù)每天都在成倍的增加。以道路視頻監(jiān)控為例,全上海的攝像頭有10多萬個,每一刻都在記錄圖片與視頻。一旦發(fā)生案件或者事件,這些記錄在硬盤庫里的資料就成為偵察與審判環(huán)節(jié)的重要證據(jù)。盡管目前技術尚不支持,業(yè)界仍然期望未來能在TB乃至于PB級的視頻數(shù)據(jù)里搜到一張?zhí)囟ㄉ碛盎蛘吣樋?。這類搜索/分析技術未來將是啟動視頻類大數(shù)據(jù)應用的引擎。
同樣,基于語音、照片或者文本的分析與數(shù)據(jù)挖掘同樣可以給人類對數(shù)據(jù)的理解帶來革命性的突破。問題在于,這類技術仍停留在實驗室階段。
盡管沒有足夠的應用,大數(shù)據(jù)仍然不可阻擋地火熱了起來。不扯上大數(shù)據(jù)似乎就要落伍了一樣,大數(shù)據(jù)滿天飛的日子來到了。至于這股潮流到底會演變成象。com一樣的泡沫,還是第三次產(chǎn)業(yè)革命,在華威先生們眼里,已經(jīng)根本不重要了。業(yè)界,數(shù)據(jù)庫/存儲等領域供應商當然樂見其成,而企業(yè)的IT經(jīng)理們則又多了一個申請預算的借口。
數(shù)據(jù)的價值及企業(yè)數(shù)據(jù)戰(zhàn)略
數(shù)據(jù)的獲取與存儲仍然是IT建設的基礎架構。一旦決定啟動“大數(shù)據(jù)戰(zhàn)略”,對資源源源不斷的占用使得這一工作黑洞化。如何規(guī)避這種大數(shù)據(jù)黑洞?結合全球主要行業(yè)領導企業(yè)以及部分小而強的歐洲企業(yè)的成功案例,我認為,應該以應用(分析及業(yè)務決策)為中心建立相應的數(shù)據(jù)戰(zhàn)略,并且隨之建立相應的從收集數(shù)據(jù)、管理數(shù)據(jù)到最終業(yè)務決策的一整套流程。而不是為數(shù)據(jù)而數(shù)據(jù)——首先要建立以應用為中心的數(shù)據(jù)戰(zhàn)略。說到應用,銀行、保險、汽車、化工等幾乎所有行業(yè)都在開展以數(shù)據(jù)分析為基礎的各種應用,以JMP軟件全球行業(yè)案例庫里面的部分典型客戶為例:
電商在分析顧客采購行為數(shù)據(jù),以進行促銷和相關貨品推薦(交叉/提升銷售)
航空公司在調(diào)查旅客反饋,以改進空中服務(客戶挽留)
藥廠在對臨床實驗數(shù)據(jù)進行分析,以判斷新藥的安全性和有效性(研發(fā)新產(chǎn)品)
汽車廠商在對維修信息進行分析,以改進汽車整車和關鍵零部件的可靠性以提升客戶滿意度(挽留及獲取客戶)、降低客戶擁有成本和車廠的保修成本(降低成本)
手機公司在對手機銷售量進行預測,以合理排產(chǎn)與優(yōu)化庫存(運營優(yōu)化)
衛(wèi)生管理部門在運用數(shù)據(jù)模型對流行病趨勢進行描述、監(jiān)控與預測
銀行在對客戶服務流程進行優(yōu)化與改善,以提升客戶滿意度
電腦廠商在利用客戶對不同配置組合進行市場調(diào)查,以進行定價
保險公司在根據(jù)保單出險情況進行保單定價的動態(tài)調(diào)整,以確保該產(chǎn)品基本盈利能力
半導體企業(yè)在對制造全流程數(shù)據(jù)進行分析/建模/優(yōu)化,以改善工藝,提升良率,從而實現(xiàn)成本降低與利潤提升
食品公司在利用數(shù)據(jù)分析和市場調(diào)查手段,研發(fā)本地客戶最喜好的口味
快速食品行業(yè)在利用JMP地圖分析工具與人口統(tǒng)計學相結合,以進行門店選址,客戶獲取及供應鏈優(yōu)化
只有足夠有效的應用,方可獲取數(shù)據(jù)的價值。企業(yè)只有在戰(zhàn)略層面確立了數(shù)據(jù)分析的重要性,方可持續(xù)改善。以GE為例,六西格瑪及相應的數(shù)據(jù)分析流程已經(jīng)成為GE的全球戰(zhàn)略與文化。不僅如何,GE還持續(xù)不懈地推動基于數(shù)據(jù)分析的持續(xù)改善工作。在高端航空發(fā)動機研發(fā)及GE能源系統(tǒng)業(yè)務領域方面,GE也與時俱進,導入JMP所代表的業(yè)界最高水平的實驗設計(DOE)方法,以進一步提升其研發(fā)水平。
其次,一切都離不開人。與這股指數(shù)級增長的數(shù)據(jù)分析需求相對應,統(tǒng)計、分析類人才正成為職場上的稀缺品種和搶手貨。3月初華爾街日報刊登了“全美最搶手職業(yè)排名”,數(shù)據(jù)分析類職位高居榜單第二位。這是美國。對中國來說,或許排名更高,因為稀缺。
最后,建立一整套以數(shù)據(jù)分析及決策流程,以取代傳統(tǒng)的拍腦袋決策體系。這一點對于中國企業(yè)來說尤其需要強調(diào)。這不僅僅是對戰(zhàn)略的有效執(zhí)行,更需要企業(yè)拿出“改變”的決心和勇氣,在制度層面體現(xiàn)出對“改變”的鼓勵和包容。
在這個應用為王的年代,對于企業(yè)來說,不論是搭建基礎架構還是應用軟件,要不要投入,如何投入,其實是個老話題了,無外乎價值與價格。大數(shù)據(jù)/云計算,不論名字如何變化,邏輯依舊。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結構數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結構數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內(nèi)涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結構數(shù)據(jù)特征價值的專業(yè)核心 表結構數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結構化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結構數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結構數(shù)據(jù)(以 “行 - 列” 存儲的結構化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結構數(shù)據(jù)價值的核心操盤手 表格結構數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10