
大數(shù)據(jù)在物聯(lián)網(wǎng)中變革了誰
物聯(lián)網(wǎng)的價(jià)值在于其數(shù)據(jù),而物聯(lián)網(wǎng)帶來的史無前例的數(shù)據(jù)規(guī)模將驅(qū)動(dòng)現(xiàn)在的數(shù)據(jù)服務(wù)企業(yè)發(fā)生根本性改變,這要求企業(yè)調(diào)整其大數(shù)據(jù)戰(zhàn)略。
具有“大數(shù)據(jù)時(shí)代預(yù)言家”之稱的維克托·邁爾曾經(jīng)在自己的著名論著《大數(shù)據(jù)時(shí)代》中預(yù)言——物聯(lián)網(wǎng)(IOT)技術(shù)的發(fā)展將極大地改變傳統(tǒng)數(shù)據(jù)存儲分析領(lǐng)域。這就難怪有那么多的公司正試圖投身物聯(lián)網(wǎng)大潮。據(jù)麥肯錫全球研究院的最新報(bào)告顯示:到2025年,物聯(lián)網(wǎng)行業(yè)的總營收將達(dá)6.2萬億美元。
但正如維克托擔(dān)心的一樣——這些弄潮兒們真的為物聯(lián)網(wǎng)將造就的大數(shù)據(jù)時(shí)代做好準(zhǔn)備了嗎?
當(dāng)然,除了技術(shù)層面的考慮,安全問題也不容忽視。但是,筆者更關(guān)心的是:全球大多數(shù)的數(shù)據(jù)中心(包括那些專門非盈利性的數(shù)據(jù)存儲和分析機(jī)構(gòu))對由物聯(lián)網(wǎng)即將帶來的海量數(shù)據(jù)似乎毫無準(zhǔn)備。
當(dāng)然有一些科技公司仍然堅(jiān)持認(rèn)為自己完全有能力管理好自己的數(shù)據(jù)中心,但是當(dāng)數(shù)據(jù)量以PB或者EB為單位增加時(shí),不知道這些公司是否還認(rèn)為筆者庸人自擾?如果依舊固執(zhí)己見,那么他們就不得不對相應(yīng)的基礎(chǔ)設(shè)施進(jìn)行大筆的投資。而相對聰明的公司會選擇業(yè)界領(lǐng)先的云存儲公司作為自己的戰(zhàn)略同盟。所以,由物聯(lián)網(wǎng)引起的大數(shù)據(jù)潮流將會助推云存儲和云計(jì)算的發(fā)展。
物聯(lián)網(wǎng)產(chǎn)生的大數(shù)據(jù)處理過程可以歸結(jié)為三個(gè)基本步驟:數(shù)據(jù)采集、數(shù)據(jù)存儲和數(shù)據(jù)分析。數(shù)據(jù)采集和存儲是基本的功能,而大數(shù)據(jù)時(shí)代真正的價(jià)值蘊(yùn)含在數(shù)據(jù)分析中。對于大數(shù)據(jù)時(shí)代的到來,有專家曾經(jīng)估計(jì)有半數(shù)以上的大數(shù)據(jù)公司可能夭折,而原因是他們未能掌握數(shù)據(jù)采集相關(guān)技術(shù)。當(dāng)然也并不是說過了數(shù)據(jù)采集這個(gè)難關(guān)就可以萬事大吉,接下來在數(shù)據(jù)存儲方面仍有一連串的挑戰(zhàn)。比如,公司必須掌握如分布式計(jì)算、并行計(jì)算等先進(jìn)的存儲計(jì)算方法。
2009年,甲型H1N1流感病毒肆虐全球。與流感病毒傳播速度相比,美國政府對流感病例的申告制度顯得效率低下。這時(shí)候人們才重新注意流感病毒爆發(fā)前幾周,谷歌公司幾位工程師在《Nature》上發(fā)表的一篇文章。在文章中,谷歌公司通過對全美境內(nèi)5000萬條最頻繁檢索的詞條和美國疾控心公布的季節(jié)性流感傳播數(shù)據(jù)進(jìn)行比較發(fā)現(xiàn):在未來一段時(shí)間很可能爆發(fā)一次大規(guī)模的流感疫情,而且清楚預(yù)測出了具體的地區(qū)和州。最后疫情爆發(fā)的時(shí)候,疾控中心驚訝地發(fā)現(xiàn)谷歌公司的預(yù)測竟然與疫情爆發(fā)地精準(zhǔn)吻合。所以,對于大數(shù)據(jù)時(shí)代而言真正的意義在于數(shù)據(jù)分析。
數(shù)據(jù)分析的挑戰(zhàn)還在于將新的物聯(lián)網(wǎng)數(shù)據(jù)和已有的數(shù)據(jù)庫整合。iDoNews認(rèn)為,有兩個(gè)方面最令人頭疼。首先,軟件方面——原來的數(shù)據(jù)庫與物聯(lián)網(wǎng)數(shù)據(jù)庫之間使用的存儲方法不同,這時(shí)候就要求公司不得不靠大量的人工重新定義原來的海量數(shù)據(jù)。第二,硬件方面——兩種數(shù)據(jù)庫之間所使用硬件介質(zhì)(服務(wù)器、磁盤等存儲介質(zhì)和網(wǎng)絡(luò)等基礎(chǔ)設(shè)施)不同,這將導(dǎo)致公司需要進(jìn)行更大規(guī)模的基礎(chǔ)設(shè)施建設(shè)。
這時(shí)候如果還有公司想靠自己一方的努力管理本公司數(shù)據(jù),那無疑是作死。
為此,真正有眼光的企業(yè)可以采用如下三種方案:
第一種,也是最流行的方式——利用成熟的第三方數(shù)據(jù)庫服務(wù)(DBaaS),如亞馬遜的Redshift.這種模式的優(yōu)勢在于,客戶公司不需要具備安裝、管理和運(yùn)行任何大型數(shù)據(jù)庫的經(jīng)驗(yàn)和技術(shù)。
第二種,利用大數(shù)據(jù)托管服務(wù)。托管服務(wù)供應(yīng)商(MSP)將負(fù)責(zé)數(shù)據(jù)收集、數(shù)據(jù)庫管理并提供進(jìn)行分析和提取數(shù)據(jù)集的服務(wù)。這種模式不僅使企業(yè)專注于其商業(yè)價(jià)值所在的數(shù)據(jù)分析而將一些較難處理的事情外包,而且還使企業(yè)用戶無需大量先期投入就可以快速進(jìn)入大數(shù)據(jù)應(yīng)用的市場化階段,同時(shí)也解決了很多企業(yè)在該領(lǐng)域的技術(shù)短缺。
第三種,基于云計(jì)算的數(shù)據(jù)庫矩陣解決方案。這種模式主要針對那些具有多種不同類型、甚至非聯(lián)系型數(shù)據(jù)庫的公司。這些公司通常要求數(shù)據(jù)存放于多個(gè)數(shù)據(jù)中心,并且既存于公共端也可能存在私有的云端。公司不僅要求不同類型數(shù)據(jù)庫的解決方案,而且對自身的大數(shù)據(jù)也有不同的應(yīng)用需求。美國主機(jī)服務(wù)商ServePath下的GoGrid云計(jì)算平臺正致力于這種數(shù)據(jù)庫管理服務(wù)。
物聯(lián)網(wǎng)的價(jià)值在于其數(shù)據(jù),而物聯(lián)網(wǎng)帶來的史無前例的數(shù)據(jù)規(guī)模將驅(qū)動(dòng)現(xiàn)在的數(shù)據(jù)服務(wù)企業(yè)發(fā)生根本性改變,這要求企業(yè)調(diào)整其大數(shù)據(jù)戰(zhàn)略。等著瞧吧,物聯(lián)網(wǎng)必然催生出大數(shù)據(jù)管理領(lǐng)域的大贏家。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-18剛?cè)肼殘龌蚴窃诼殘稣媾R崗位替代、技能更新、人機(jī)協(xié)作等焦慮的打工人,想要找到一條破解職場焦慮和升職瓶頸的系統(tǒng)化學(xué)習(xí)提升 ...
2025-07-182025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價(jià)值的煉金術(shù) ...
2025-07-18CDA 數(shù)據(jù)分析師:數(shù)據(jù)時(shí)代的價(jià)值挖掘者 在大數(shù)據(jù)席卷全球的今天,數(shù)據(jù)已成為企業(yè)核心競爭力的重要組成部分。從海量數(shù)據(jù)中提取有 ...
2025-07-18SPSS 賦值后數(shù)據(jù)不顯示?原因排查與解決指南? 在 SPSS( Statistical Package for the Social Sciences)數(shù)據(jù)分析過程中,變量 ...
2025-07-18在 DBeaver 中利用 MySQL 實(shí)現(xiàn)表數(shù)據(jù)同步操作指南? ? 在數(shù)據(jù)庫管理工作中,將一張表的數(shù)據(jù)同步到另一張表是常見需求,這有助于 ...
2025-07-18數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價(jià)值的橋梁? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對這樣的場景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時(shí)代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動(dòng)的數(shù)據(jù)曲線尋找增長密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長的實(shí)戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項(xiàng)” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實(shí)踐 在 MySQL 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計(jì)中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運(yùn)維與開發(fā)中,開發(fā)者和 DBA 常會 ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動(dòng)企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時(shí)代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實(shí)戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,面對海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問題時(shí)有發(fā)生。 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11