
揭露大數(shù)據(jù)五大誤區(qū)
在如此多關(guān)于大數(shù)據(jù)的炒作下,IT管理者很難知道該如何挖掘大數(shù)據(jù)的潛力。Gartner指出關(guān)于大數(shù)據(jù)的五大誤區(qū),以幫助IT管理者制定他們的信息基礎(chǔ)設(shè)施戰(zhàn)略。
Gartner研究總監(jiān)Alexander Linden表示:“大數(shù)據(jù)提供了巨大的機會,但也帶來了更大的挑戰(zhàn)。海量的數(shù)據(jù)并沒有解決數(shù)據(jù)固有的問題。IT管理者需要破除各種炒作,根據(jù)已知的事實和業(yè)務(wù)驅(qū)動的結(jié)果指導(dǎo)行動。”
人們對于大數(shù)據(jù)技術(shù)和服務(wù)的興趣達到了前所未有的高度,有73%的受訪企業(yè)已經(jīng)投資或者計劃投資大數(shù)據(jù)。但是大多數(shù)企業(yè)機構(gòu)仍然在采用大數(shù)據(jù)的初期階段,只有13%的受訪者已經(jīng)部署了大數(shù)據(jù)解決方案(見圖1)。
圖1、2013年和2014年大數(shù)據(jù)采用的階段
注釋:Gartner向每位受訪者提問,“以下哪5個階段可以最好地描述你企業(yè)機構(gòu)采用大數(shù)據(jù)的階段?”
2014年n = 302,2013年n = 720。來源:Gartner(2014年9月)
企業(yè)結(jié)構(gòu)面臨最大的挑戰(zhàn)是確定如何從大數(shù)據(jù)中獲取價值,以及確定應(yīng)該從哪里開始。許多企業(yè)機構(gòu)卡在試點階段,因為他們沒有將技術(shù)與業(yè)務(wù)流程或者具體的使用實例聯(lián)系起來。
IT管理者認為,目前企業(yè)管理如此多的數(shù)據(jù)使得單個的數(shù)據(jù)質(zhì)量問題變得微不足道,因為“大數(shù)據(jù)法則”。這個觀點認為,單個數(shù)據(jù)質(zhì)量缺陷并不影響整個數(shù)據(jù)分析的結(jié)果,因為每個缺陷只是企業(yè)機構(gòu)內(nèi)海量數(shù)據(jù)非常小的一部分。
Gartner副總裁Ted Friedman認為:“事實上,盡管單個缺陷對于整個數(shù)據(jù)集的影響要比數(shù)據(jù)量少的時候小一些,但是因為數(shù)據(jù)更多了所有缺陷也就更多了。因此,糟糕的數(shù)據(jù)質(zhì)量對于整個數(shù)據(jù)集的影響還是一樣的。除此之外企業(yè)機構(gòu)在大數(shù)據(jù)背景下使用的大多數(shù)數(shù)據(jù)都是來自于外部的,或者是未知結(jié)構(gòu)和未知來源的。這意味著出現(xiàn)數(shù)據(jù)質(zhì)量問題的可能性要比以前更高,因此數(shù)據(jù)質(zhì)量實際上在大數(shù)據(jù)背景下變得更為重要了?!?/span>
一般觀點認為,大數(shù)據(jù)技術(shù)——尤其是通過在用模式方法處理信息的潛力——將使得企業(yè)機構(gòu)要使用多種數(shù)據(jù)模型來讀取相同的數(shù)據(jù)源。很多人相信這種靈活性將讓終端用戶確定如何按需地將各種數(shù)據(jù)集進行轉(zhuǎn)譯。他們認為,這也將提供滿足單個用戶需求的數(shù)據(jù)訪問。
在現(xiàn)實中,大多數(shù)信息用戶重度依賴于“在寫模式”,在這種場景下數(shù)據(jù)被描述、內(nèi)容被預(yù)先描述,因此關(guān)于數(shù)據(jù)完整性以及與場景的相關(guān)性已經(jīng)達成了統(tǒng)一。
很多信息管理的領(lǐng)導(dǎo)者認為,構(gòu)建一個數(shù)據(jù)倉庫是消耗時間且沒有意義的,因為高級分析使用新型的數(shù)據(jù)而不僅僅是數(shù)據(jù)倉庫。
現(xiàn)實是,很多高級分析項目在分析過程中使用的正是數(shù)據(jù)倉庫。在其他一些情況下,信息管理人必須提煉作為大數(shù)據(jù)一部分的新數(shù)據(jù)類型,使其適合于分析。他們需要確定哪些數(shù)據(jù)是相關(guān)的,如何聚合這些數(shù)據(jù),以及數(shù)據(jù)質(zhì)量的等級,而且這種數(shù)據(jù)提煉可能是發(fā)生在很多地方的,不僅僅是數(shù)據(jù)庫。
很多廠商將數(shù)據(jù)湖定義為用于分析各種來源的原始格式數(shù)據(jù)的企業(yè)數(shù)據(jù)管理平臺。
現(xiàn)實是,廠商將數(shù)據(jù)湖定位為數(shù)據(jù)倉庫的替代品或者作為客戶分析技術(shù)設(shè)施關(guān)鍵要素是容易引發(fā)誤導(dǎo)的。數(shù)據(jù)湖的基礎(chǔ)技術(shù)缺乏已有數(shù)據(jù)倉庫技術(shù)功能特性的成熟型和廣度。Gartner研究總監(jiān)Nick Heudecker表示:“數(shù)據(jù)倉庫已經(jīng)具有支持整個組織上下各種用戶的能力。信息管理者沒必要等著數(shù)據(jù)湖迎頭趕上。”
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11