
大數(shù)據(jù)系列之大數(shù)據(jù)分析對IT資源的需求
為了準(zhǔn)確描述中國大數(shù)據(jù)市場和技術(shù)發(fā)展趨勢,解析大數(shù)據(jù)發(fā)展的各階段對IT技術(shù)的需求,2013年6月,中橋調(diào)研咨詢對中國480家最終用戶的IT管理者和專業(yè)人員,就大數(shù)據(jù)市場和技術(shù)發(fā)展趨勢展開了調(diào)查。中橋首席分析師"數(shù)據(jù)分析師"結(jié)合其在歐美數(shù)據(jù)中心領(lǐng)域十幾年的市場調(diào)研積累,對中國大數(shù)據(jù)市場趨勢的調(diào)查數(shù)據(jù)進(jìn)行解析,以詮釋中國大數(shù)據(jù)市場和技術(shù)趨勢。同時,會通過在線講座(www.webinars-china.com )和中國讀者解讀中國大數(shù)據(jù)市場趨勢,以及大數(shù)據(jù)對IT技術(shù)、IT架構(gòu)、IT管理以及IT格局的影響。中橋結(jié)合對中國大數(shù)據(jù)市場的調(diào)研數(shù)據(jù)和分析,將分成四個系列對“中國大數(shù)據(jù)價值和趨勢”進(jìn)行解讀。
在系列1里,中橋就大數(shù)據(jù)分析對未來24個月以及企業(yè)的大數(shù)據(jù)分析投入重點(diǎn)進(jìn)行分析。在系列2 里,中橋?qū)⒕痛髷?shù)據(jù)分析對IT資源的需求,包括IT架構(gòu)、計算節(jié)點(diǎn)以及存儲技術(shù)等進(jìn)行分析。
大數(shù)據(jù)分析對IT架構(gòu)的需求
在大數(shù)據(jù)時代,隨著數(shù)據(jù)存儲量的爆炸性增長以及分層網(wǎng)絡(luò)架構(gòu)的出現(xiàn),IT復(fù)雜性達(dá)到了前所未有的高度,而大數(shù)據(jù)分析使得傳統(tǒng)IT架構(gòu)更是不堪重負(fù)。那么從企業(yè)角度來看,他們的大數(shù)據(jù)環(huán)境需要怎樣的IT架構(gòu)呢?中橋調(diào)查結(jié)果表明(圖1),企業(yè)級用戶(員工人數(shù)在1000人以上)主要選擇的是“透明、經(jīng)濟(jì)、智能、自動化”的IT架構(gòu)(29.3%),中小企業(yè)(員工人數(shù)在1000人以下)則主要選擇的是一體機(jī)方案(服務(wù)器、存儲、網(wǎng)絡(luò)、大數(shù)據(jù)分析軟件)(28.9%)。企業(yè)級用戶傾向于開放、異構(gòu)、跨平臺的IT架構(gòu),因為其用于大數(shù)據(jù)分析的IT架構(gòu)發(fā)展較為成熟,如何繼續(xù)提高BI效率是企業(yè)級用戶選擇IT架構(gòu)的重點(diǎn)。中小企業(yè)尚處于IT架構(gòu)發(fā)展初期,因此一體機(jī)的方案成為中小企業(yè)的首選。受訪者的選擇結(jié)果也體現(xiàn)了中國企業(yè)未來對IT架構(gòu)的需求趨勢,說明數(shù)據(jù)整合和ETL是中國企業(yè)的迫切需求,也是目前面臨的最大問題之一。
圖1. 大數(shù)據(jù)環(huán)境對IT架構(gòu)的需求
大數(shù)據(jù)分析對計算技術(shù)的需求
再從大數(shù)據(jù)分析的計算方式來看(圖2),21.6%和21.3%的企業(yè)級用戶分別考慮x86虛擬化和小型機(jī)來部署大數(shù)據(jù)分析方案,中小企業(yè)(23.8%)則主要考慮刀片服務(wù)器的計算方式。刀片服務(wù)器的高密度特點(diǎn)有利于提高計算能力、保持高IT密度。企業(yè)級的應(yīng)用多數(shù)運(yùn)行在小型機(jī)的平臺上,這造成如果大數(shù)據(jù)分析是在現(xiàn)有基礎(chǔ)上實現(xiàn),則小型機(jī)就成為了企業(yè)級的首選;如果要選擇在一個全新平臺實現(xiàn)大數(shù)據(jù)分析,那么X86虛擬化就成為了企業(yè)級用戶的第一選擇。結(jié)合我們之前所分析的,目前中國市場的大數(shù)據(jù)分析速度和頻率遠(yuǎn)低于歐美市場,這導(dǎo)致中國企業(yè)在數(shù)據(jù)分析,這個大數(shù)據(jù)通過IT創(chuàng)造價值,這一重要環(huán)節(jié)上比較薄弱。
▲圖2.大數(shù)據(jù)分析對計算技術(shù)的需求
大數(shù)據(jù)分析對存儲的需求
從大數(shù)據(jù)分析的第一個環(huán)節(jié)——數(shù)據(jù)收集和存儲來看,大數(shù)據(jù)時代應(yīng)用數(shù)量、應(yīng)用數(shù)據(jù)量和使用者數(shù)量的增長,對存儲IOPS以及OLTP和OLAP的要求越來越高,具體體現(xiàn)在存儲不能滿足業(yè)務(wù)關(guān)鍵型應(yīng)用的需求。從數(shù)據(jù)分析師就企業(yè)支持當(dāng)前數(shù)據(jù)分析和/或進(jìn)程活動的存儲類型分析來看(圖3),F(xiàn)C SAN是企業(yè)級用戶(42.1%)和中型企業(yè)(34.0%)的首選,遠(yuǎn)高于其他存儲類型的企業(yè)占比。這是因為FC SAN對OLTP和OLAP的性能穩(wěn)定性優(yōu)于其他存儲技術(shù)。這一調(diào)查結(jié)果也體現(xiàn)了,目前中國用戶大多處于大數(shù)據(jù)分析的第一階段,存儲和IT架構(gòu)大多以集中式為主。隨著Hadoop和MapReduce的不斷普及,用戶逐漸進(jìn)入近實時和實時分析階段,節(jié)點(diǎn)式存儲的占比會隨之逐漸增加。
▲圖3.大數(shù)據(jù)分析對存儲的需求
那么在大數(shù)據(jù)時代企業(yè)的存儲能夠滿足需求呢(圖4)?中橋調(diào)研結(jié)果顯示,31.6%的用戶計劃在未來12個月部署新存儲來滿足業(yè)務(wù)關(guān)鍵型應(yīng)用的需求,33.2%計劃在未來12-24個月部署新存儲。這表明傳統(tǒng)存儲越來越無法滿足業(yè)務(wù)關(guān)鍵應(yīng)用的性能需求。在未來24個月,64.8%的用戶將會部署新存儲來滿足大數(shù)據(jù)時代,業(yè)務(wù)關(guān)鍵型應(yīng)用對存儲性能越來越高的需求。
▲圖4 大數(shù)據(jù)分析時代存儲的發(fā)展趨勢
通過上述一系列大數(shù)據(jù)對IT資源的需求分析,中橋分析師"數(shù)據(jù)分析師"認(rèn)為,傳統(tǒng)的IT架構(gòu)、計算方式以及存儲正成為中國用戶通過大數(shù)據(jù)分析處理快速提高IT效率,挖掘數(shù)據(jù)價值的巨大阻礙。而統(tǒng)一、透明、智能的自動化IT架構(gòu)管理、高密度下卓越的計算能力,以及能夠滿足存儲IOPS與OLTP和OLAP的新型存儲則能夠為企業(yè)創(chuàng)造價值,實現(xiàn)通過IT突破創(chuàng)新來提升企業(yè)競爭力的目的。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓(xùn)練與驗證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11