物聯(lián)網(wǎng)驅(qū)動(dòng)下的大數(shù)據(jù)管理

物聯(lián)網(wǎng)的價(jià)值在于其數(shù)據(jù)，而物聯(lián)網(wǎng)帶來(lái)的史無(wú)前例的數(shù)據(jù)規(guī)模將驅(qū)動(dòng)現(xiàn)在的數(shù)據(jù)服務(wù)企業(yè)發(fā)生根本性改變，這要求企業(yè)調(diào)整其大數(shù)據(jù)戰(zhàn)略。

具有“大數(shù)據(jù)時(shí)代預(yù)言家”之稱(chēng)的維克托·邁爾曾經(jīng)在自己的著名論著《大數(shù)據(jù)時(shí)代》中預(yù)言——物聯(lián)網(wǎng)(IOT)技術(shù)的發(fā)展將極大地改變傳統(tǒng)數(shù)據(jù)存儲(chǔ)分析領(lǐng)域。這就難怪有那么多的公司正試圖投身物聯(lián)網(wǎng)大潮。據(jù)麥肯錫全球研究院的最新報(bào)告顯示：到2025年，物聯(lián)網(wǎng)行業(yè)的總營(yíng)收將達(dá)6.2萬(wàn)億美元。

但正如維克托擔(dān)心的一樣——這些弄潮兒們真的為物聯(lián)網(wǎng)將造就的大數(shù)據(jù)時(shí)代做好準(zhǔn)備了嗎？

當(dāng)然，除了技術(shù)層面的考慮，安全問(wèn)題也不容忽視。但是，筆者更關(guān)心的是：全球大多數(shù)的數(shù)據(jù)中心（包括那些專(zhuān)門(mén)非盈利性的數(shù)據(jù)存儲(chǔ)和分析機(jī)構(gòu)）對(duì)由物聯(lián)網(wǎng)即將帶來(lái)的海量數(shù)據(jù)似乎毫無(wú)準(zhǔn)備。

當(dāng)然有一些科技公司仍然堅(jiān)持認(rèn)為自己完全有能力管理好自己的數(shù)據(jù)中心，但是當(dāng)數(shù)據(jù)量以PB或者EB為單位增加時(shí)，不知道這些公司是否還認(rèn)為筆者庸人自擾？如果依舊固執(zhí)己見(jiàn)，那么他們就不得不對(duì)相應(yīng)的基礎(chǔ)設(shè)施進(jìn)行大筆的投資。而相對(duì)聰明的公司會(huì)選擇業(yè)界領(lǐng)先的云存儲(chǔ)公司作為自己的戰(zhàn)略同盟。所以，由物聯(lián)網(wǎng)引起的大數(shù)據(jù)潮流將會(huì)助推云存儲(chǔ)和云計(jì)算的發(fā)展。

物聯(lián)網(wǎng)產(chǎn)生的大數(shù)據(jù)處理過(guò)程可以歸結(jié)為三個(gè)基本步驟：數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析。數(shù)據(jù)采集和存儲(chǔ)是基本的功能，而大數(shù)據(jù)時(shí)代真正的價(jià)值蘊(yùn)含在數(shù)據(jù)分析中。對(duì)于大數(shù)據(jù)時(shí)代的到來(lái)，有專(zhuān)家曾經(jīng)估計(jì)有半數(shù)以上的大數(shù)據(jù)公司可能夭折，而原因是他們未能掌握數(shù)據(jù)采集相關(guān)技術(shù)。當(dāng)然也并不是說(shuō)過(guò)了數(shù)據(jù)采集這個(gè)難關(guān)就可以萬(wàn)事大吉，接下來(lái)在數(shù)據(jù)存儲(chǔ)方面仍有一連串的挑戰(zhàn)。比如，公司必須掌握如分布式計(jì)算、并行計(jì)算等先進(jìn)的存儲(chǔ)計(jì)算方法。

2009年，甲型H1N1流感病毒肆虐全球。與流感病毒傳播速度相比，美國(guó)政府對(duì)流感病例的申告制度顯得效率低下。這時(shí)候人們才重新注意流感病毒爆發(fā)前幾周，谷歌公司幾位工程師在《Nature》上發(fā)表的一篇文章。在文章中，谷歌公司通過(guò)對(duì)全美境內(nèi)5000萬(wàn)條最頻繁檢索的詞條和美國(guó)疾控心公布的季節(jié)性流感傳播數(shù)據(jù)進(jìn)行比較發(fā)現(xiàn)：在未來(lái)一段時(shí)間很可能爆發(fā)一次大規(guī)模的流感疫情，而且清楚預(yù)測(cè)出了具體的地區(qū)和州。最后疫情爆發(fā)的時(shí)候，疾控中心驚訝地發(fā)現(xiàn)谷歌公司的預(yù)測(cè)竟然與疫情爆發(fā)地精準(zhǔn)吻合。所以，對(duì)于大數(shù)據(jù)時(shí)代而言真正的意義在于數(shù)據(jù)分析。

數(shù)據(jù)分析的挑戰(zhàn)還在于將新的物聯(lián)網(wǎng)數(shù)據(jù)和已有的數(shù)據(jù)庫(kù)整合。iDoNews認(rèn)為，有兩個(gè)方面最令人頭疼。首先，軟件方面——原來(lái)的數(shù)據(jù)庫(kù)與物聯(lián)網(wǎng)數(shù)據(jù)庫(kù)之間使用的存儲(chǔ)方法不同，這時(shí)候就要求公司不得不靠大量的人工重新定義原來(lái)的海量數(shù)據(jù)。第二，硬件方面——兩種數(shù)據(jù)庫(kù)之間所使用硬件介質(zhì)（服務(wù)器、磁盤(pán)等存儲(chǔ)介質(zhì)和網(wǎng)絡(luò)等基礎(chǔ)設(shè)施）不同，這將導(dǎo)致公司需要進(jìn)行更大規(guī)模的基礎(chǔ)設(shè)施建設(shè)。

這時(shí)候如果還有公司想靠自己一方的努力管理本公司數(shù)據(jù)，那無(wú)疑是作死。

為此，真正有眼光的企業(yè)可以采用如下三種方案：

第一種，也是最流行的方式——利用成熟的第三方數(shù)據(jù)庫(kù)服務(wù)（DBaaS），如亞馬遜的Redshift.這種模式的優(yōu)勢(shì)在于，客戶公司不需要具備安裝、管理和運(yùn)行任何大型數(shù)據(jù)庫(kù)的經(jīng)驗(yàn)和技術(shù)。

第二種，利用大數(shù)據(jù)托管服務(wù)。托管服務(wù)供應(yīng)商（MSP）將負(fù)責(zé)數(shù)據(jù)收集、數(shù)據(jù)庫(kù)管理并提供進(jìn)行分析和提取數(shù)據(jù)集的服務(wù)。這種模式不僅使企業(yè)專(zhuān)注于其商業(yè)價(jià)值所在的數(shù)據(jù)分析而將一些較難處理的事情外包，而且還使企業(yè)用戶無(wú)需大量先期投入就可以快速進(jìn)入大數(shù)據(jù)應(yīng)用的市場(chǎng)化階段，同時(shí)也解決了很多企業(yè)在該領(lǐng)域的技術(shù)短缺。

第三種，基于云計(jì)算的數(shù)據(jù)庫(kù)矩陣解決方案。這種模式主要針對(duì)那些具有多種不同類(lèi)型、甚至非聯(lián)系型數(shù)據(jù)庫(kù)的公司。這些公司通常要求數(shù)據(jù)存放于多個(gè)數(shù)據(jù)中心，并且既存于公共端也可能存在私有的云端。公司不僅要求不同類(lèi)型數(shù)據(jù)庫(kù)的解決方案，而且對(duì)自身的大數(shù)據(jù)也有不同的應(yīng)用需求。美國(guó)主機(jī)服務(wù)商ServePath下的GoGrid云計(jì)算平臺(tái)正致力于這種數(shù)據(jù)庫(kù)管理服務(wù)。

物聯(lián)網(wǎng)的價(jià)值在于其數(shù)據(jù)，而物聯(lián)網(wǎng)帶來(lái)的史無(wú)前例的數(shù)據(jù)規(guī)模將驅(qū)動(dòng)現(xiàn)在的數(shù)據(jù)服務(wù)企業(yè)發(fā)生根本性改變，這要求企業(yè)調(diào)整其大數(shù)據(jù)戰(zhàn)略。

等著瞧吧，物聯(lián)網(wǎng)必然催生出大數(shù)據(jù)管理領(lǐng)域的大贏家。