
企業(yè)致力于收集和存儲大量數(shù)據(jù),但通常只分析其中的一小部分。他們發(fā)現(xiàn)數(shù)據(jù)是新的貨幣,因為數(shù)據(jù)中隱藏著很多價值。他們正在利用數(shù)據(jù)科學(xué)和大數(shù)據(jù)分析工具從其“數(shù)據(jù)寶庫”中提取價值。這有助于他們進行數(shù)字化轉(zhuǎn)型。一些組織在這方面取得了巨大的成功,并不斷創(chuàng)新、獲得市場份額、增加價值(例如Amazon、谷歌、Facebook等公司),而其他公司也在努力效仿。
麥肯錫全球研究院于2011年5月發(fā)表了一篇開創(chuàng)性論文,名為“大數(shù)據(jù):創(chuàng)新,競爭和生產(chǎn)力的下一個前沿”,使得大數(shù)據(jù)和分析開始引起人們的關(guān)注。根據(jù)谷歌公司的趨勢分析(它提高了人們對關(guān)鍵詞的搜索興趣),大數(shù)據(jù)和分析熱潮在2016年6月達到了頂峰。而云計算一直持續(xù)受到人們的高度關(guān)注,因為越來越多的企業(yè)繼續(xù)實施云計算技術(shù),以提高業(yè)務(wù)靈活性、運營彈性、改進性能,以及更高的效率。
數(shù)字化轉(zhuǎn)型需要在組織層面上發(fā)揮作用,并將成為一種永久的運營方式。
人們可能會想知道,在大數(shù)據(jù)和分析達到發(fā)展頂峰之后將會變成什么樣子。只要所公布的客戶調(diào)查、供應(yīng)商利益、分析師報告、收入來源等資料具有價值,那么企業(yè)都將采用大數(shù)據(jù)和分析來獲取。調(diào)研機構(gòu)Gartner公司2016年進行的一項調(diào)查報告表明,在過去五年中,企業(yè)對大數(shù)據(jù)和分析的投資一直在不斷增長,但對其未來投資的興趣似乎有所下降。這可能是由于這些投資獲得實際收益的一種停頓。而Gartner公司的另一份調(diào)查報告顯示,只有大約12%的大數(shù)據(jù)項目取得了可衡量的成果。然而,社交媒體、物聯(lián)網(wǎng)(IoT)、智能手機、移動設(shè)備、游戲裝備、可穿戴設(shè)備、傳感器、無人機、遠程監(jiān)控器、精密醫(yī)療、精準農(nóng)業(yè)、智能城市、智能建筑、自動駕駛汽車、遠程控制車輛等技術(shù)將產(chǎn)生大量需要收集、匯總和分析的數(shù)據(jù),以做出有用且有價值的決策。
而使用傳統(tǒng)方法和系統(tǒng)來人工分析數(shù)據(jù)是不可能的。來自大數(shù)據(jù)和分析的潛在價值每年達到數(shù)十億美元。這被認為是一個保守的估計。因為麥肯錫公司2011年進行的調(diào)查報告僅僅占據(jù)了大數(shù)據(jù)潛在價值的一小部分。只有基于位置的數(shù)據(jù)的采用率和價值捕獲率高達50%-60%,其次是美國零售業(yè),達到30%-40%,制造業(yè)占20%-30%,美國醫(yī)療保健行業(yè)為10%-20%,歐盟公共部門為10%-20%。因此,大數(shù)據(jù)和分析的興趣和投資在幾乎所有行業(yè)都會增加,以捕捉大數(shù)據(jù)中隱藏的價值。預(yù)計在未來幾年中企業(yè)對云計算的大數(shù)據(jù)會持續(xù)產(chǎn)生興趣。
數(shù)據(jù)安全
隨著越來越多的數(shù)據(jù)被收集、匯總、分析,并用于做出影響人們生活的決策,數(shù)據(jù)安全性成為人們最為關(guān)切的問題。數(shù)據(jù)治理需要處理從不同來源收集的數(shù)據(jù)高峰以及管理這些數(shù)據(jù)元素所涉及的風(fēng)險的中心階段。美國聯(lián)邦、州、市和地方政府機構(gòu)以及其他非營利性公共服務(wù)組織需要符合嚴格的保密性、完整性和可用性(CIA)規(guī)則,并且還要提供良好的治理、滿足合規(guī)要求和管理風(fēng)險(GCR)。
人們一個常見的誤解是,組織需要從不同來源收集的大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),包括外部來源(需要驗證和風(fēng)險評估)來開始分析。企業(yè)不需要大量數(shù)據(jù)來啟動分析項目??梢詮囊延械摹包S金標準數(shù)據(jù)”開始,并考慮單獨使用這些數(shù)據(jù)或?qū)⑵渑c其他內(nèi)部數(shù)據(jù)集結(jié)合使用,以解決業(yè)務(wù)問題作為向決策者購買的概念證明的可能性。企業(yè)可以嘗試和分析以前沒有查看的不同變量,以確定相關(guān)性、因果關(guān)系和預(yù)測因素,謹慎發(fā)現(xiàn),并避免重合。這是行業(yè)領(lǐng)域知識和專業(yè)知識發(fā)揮作用的地方。利用可用且經(jīng)濟實惠的計算能力、存儲和網(wǎng)絡(luò)容量,企業(yè)可以輕松地分析更多數(shù)據(jù),以查看隱藏在數(shù)據(jù)中的模式和概率?;跇I(yè)務(wù)需求,分析可用于描述性、診斷性、預(yù)測性、規(guī)定性的目的。物聯(lián)網(wǎng)、傳感器、操作技術(shù)、設(shè)備維護、精密醫(yī)療、電網(wǎng)、航運、物流、執(zhí)法和精準農(nóng)業(yè)正在越來越多地利用上述不同類型的分析來處理一個或多個業(yè)務(wù)問題,或根據(jù)需要來提供解決方案。
大數(shù)據(jù)的需求
大數(shù)據(jù)對不同的人意味著不同的事物。不同的IT分析師、商業(yè)領(lǐng)袖、顧問、學(xué)術(shù)研究人員、標準組織已經(jīng)根據(jù)他們的觀點定義了大數(shù)據(jù),其中包括數(shù)量、速度、品種、準確性、復(fù)雜性等因素。雖然在大數(shù)據(jù)方面沒有明確的共識,他們現(xiàn)有的能力在人員、過程和技術(shù)方面的處理能力太大了。就大數(shù)據(jù)和分析而言,人員是最難的部分。存在組織慣性、缺乏決策者的支持,以及難以找到正確理解分析的數(shù)據(jù)和業(yè)務(wù)領(lǐng)域的數(shù)據(jù)科學(xué)家等問題。同樣,大數(shù)據(jù)分析師也很缺乏。世界各地的許多高?;蛘J證機構(gòu)都在提供數(shù)據(jù)科學(xué)和分析方面的新課程,以滿足日益增長的需求。
由于大數(shù)據(jù)領(lǐng)域是新興行業(yè),很難找到適合的專家,因此所謂的“大數(shù)據(jù)專家或數(shù)據(jù)科學(xué)家”被金融交易、銀行、信用評級機構(gòu),以及信用卡公司等大型金融組織所吸引。此外,谷歌、Facebook、LinkedIn、雅虎、微軟、亞馬遜等行業(yè)巨頭也求賢若渴,因為他們?yōu)檫@些人才提供了豐厚的薪酬、股票期權(quán),以及更好的發(fā)展前景。在爭奪同樣的人才方面,美國的聯(lián)邦、州、市和地方政府以及非營利組織都處于劣勢。但是,一些具有深謀遠慮的政府組織已經(jīng)成功招募了一些優(yōu)秀的大數(shù)據(jù)科學(xué)家。
克服人才短缺的挑戰(zhàn)
為了克服數(shù)據(jù)科學(xué)家短缺的挑戰(zhàn),許多企業(yè)正在建立一個數(shù)據(jù)科學(xué)團隊,其中包括具有大數(shù)據(jù)分析方面知識和專業(yè)知識的人員,以及行業(yè)專家,例如IT和業(yè)務(wù)領(lǐng)域。他們可以一起補充彼此的專業(yè)知識,互相協(xié)作并提出業(yè)務(wù)問題的解決方案。一個成功的大數(shù)據(jù)分析團隊的一個重要特征是能夠用商業(yè)術(shù)語講述故事,并實現(xiàn)數(shù)據(jù)可視化,而這些數(shù)據(jù)可視化只需要很少的解釋。這是一項非常特殊的技能,需要銷售技能來完成交易。這些能力有助于建立數(shù)據(jù)科學(xué)團隊或大數(shù)據(jù)和分析團隊的可信度,以獲得高級管理人員的支持,并將分析從一個業(yè)務(wù)領(lǐng)域擴展到另一個業(yè)務(wù)領(lǐng)域,并最終擴展到整個組織或企業(yè)。這些人員則是“翻譯者”,他們可以從數(shù)據(jù)分析中獲得結(jié)果,并將其置于商業(yè)術(shù)語中,以便企業(yè)能夠理解和適應(yīng)。數(shù)字化轉(zhuǎn)型需要在組織層面上發(fā)揮作用,并成為一種永久的運營方式。大數(shù)據(jù)和分析是私營或公共企業(yè)數(shù)字化轉(zhuǎn)型的一個組成部分。因此,許多組織開始了數(shù)字化轉(zhuǎn)型之旅,通過分析釋放隱藏在大數(shù)據(jù)中的價值。今后將會有更多的組織效仿跟隨。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10