“數(shù)據(jù)創(chuàng)新”時(shí)代：大數(shù)據(jù)有大智慧_數(shù)據(jù)分析師

除了“物聯(lián)網(wǎng)”和“云計(jì)算”，IT業(yè)又出現(xiàn)了一個(gè)新名詞——大數(shù)據(jù)。如今，大數(shù)據(jù)甚至引起了工商界和金融界的高度關(guān)注，人們認(rèn)為大數(shù)據(jù)將為數(shù)據(jù)應(yīng)用和決策支持提供有效幫助，成為物聯(lián)網(wǎng)和云計(jì)算內(nèi)在的靈魂和必然的發(fā)展趨勢(shì)。

　　大數(shù)據(jù)目前尚沒(méi)有統(tǒng)一的定義，通常被認(rèn)為是一種數(shù)據(jù)量很大、數(shù)據(jù)形式多樣化的非結(jié)構(gòu)化數(shù)據(jù)。

　　這里我們先弄清楚幾個(gè)概念，結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)可以在關(guān)系數(shù)據(jù)庫(kù)中找到，多年來(lái)一直主導(dǎo)著IT應(yīng)用;半結(jié)構(gòu)化數(shù)據(jù)包括電子郵件、文字處理文件以及大量發(fā)布在網(wǎng)絡(luò)上的新聞等，以內(nèi)容為基礎(chǔ)，這也是谷歌和百度存在的理由;而非結(jié)構(gòu)化數(shù)據(jù)廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)之中。伴隨著社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等新技術(shù)不斷產(chǎn)生，有報(bào)告稱，超過(guò)85%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。

　　很多人相信這些龐大的異構(gòu)數(shù)據(jù)中蘊(yùn)含著巨大財(cái)富——企業(yè)如果能在這些非結(jié)構(gòu)化數(shù)據(jù)中挖掘知識(shí)并與業(yè)務(wù)融合，決策的依據(jù)將會(huì)更加全面和準(zhǔn)確;在科學(xué)、體育、廣告和公共衛(wèi)生等其他領(lǐng)域中，也有著向數(shù)據(jù)驅(qū)動(dòng)型的發(fā)現(xiàn)和決策方式轉(zhuǎn)變的趨勢(shì)。

　　大數(shù)據(jù)的推動(dòng)因素主要來(lái)自于一些大型IT公司，如谷歌、亞馬遜、中國(guó)移動(dòng)、阿里巴巴等，他們需要以更加優(yōu)化的方式存儲(chǔ)和分析數(shù)據(jù)。此外，還有一些來(lái)自健康醫(yī)療、地理空間遙感和數(shù)字媒體等行業(yè)的大數(shù)據(jù)需求。據(jù)市場(chǎng)研究公司統(tǒng)計(jì)，未來(lái)10年里預(yù)計(jì)數(shù)字信息總量將在2009年到2020年增長(zhǎng)44倍，全球數(shù)據(jù)使用量將達(dá)到大約35.2ZB(1ZB=10億TB)。

　　大數(shù)據(jù)呈現(xiàn)出“4V+1C”的特點(diǎn)：(1)Variety，大數(shù)據(jù)種類繁多，在編碼方式、數(shù)據(jù)格式、應(yīng)用特征等多個(gè)方面存在差異性，多信息源并發(fā)形成大量的異構(gòu)數(shù)據(jù);(2)Volume，通過(guò)各種設(shè)備產(chǎn)生的海量數(shù)據(jù)，其數(shù)據(jù)規(guī)模極為龐大，遠(yuǎn)大于目前互聯(lián)網(wǎng)上的信息流量，PB級(jí)別將是常態(tài);(3)Velocity，涉及到感知、傳輸、決策、控制開(kāi)放式循環(huán)的大數(shù)據(jù)，對(duì)數(shù)據(jù)實(shí)時(shí)處理有著極高的要求，通過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)查詢方式得到的“當(dāng)前結(jié)果”很可能已經(jīng)沒(méi)有價(jià)值;(4)Vitality，數(shù)據(jù)持續(xù)到達(dá)，并且只有在特定時(shí)間和空間中才有意義;(5)Complexity，通過(guò)數(shù)據(jù)庫(kù)處理持久存儲(chǔ)的數(shù)據(jù)不再適用于大數(shù)據(jù)處理，需要有新的方法來(lái)滿足異構(gòu)數(shù)據(jù)統(tǒng)一接入和實(shí)時(shí)數(shù)據(jù)處理的需求。

　　Apache的Hadoop已成為大數(shù)據(jù)行業(yè)發(fā)展背后的技術(shù)推動(dòng)力，Hive和Pig等技術(shù)也經(jīng)常被提到。同時(shí)，旨在從非結(jié)構(gòu)化數(shù)據(jù)的龐大寶藏中獲得知識(shí)和洞察力的計(jì)算機(jī)工具也正在迅速發(fā)展中。這些工具的發(fā)展依賴于不斷進(jìn)步的人工智能技術(shù)，比如自然語(yǔ)言處理、模式識(shí)別和機(jī)器學(xué)習(xí)等。

　　可以預(yù)見(jiàn)，未來(lái)一兩年內(nèi)，將會(huì)涌現(xiàn)大量能夠處理大型非結(jié)構(gòu)化數(shù)據(jù)的工具和平臺(tái)。除了Hadoop的批量化處理方式之外，基于流數(shù)據(jù)處理的方式也將在實(shí)時(shí)數(shù)據(jù)分析應(yīng)用中發(fā)揮作用。此外，大數(shù)據(jù)熱潮還將對(duì)可視化的理解和需求提出新的挑戰(zhàn)。可視化在數(shù)據(jù)工作流中將同時(shí)起到解釋和探索的作用，數(shù)據(jù)科學(xué)家會(huì)將可視化作為尋求問(wèn)題以及探索數(shù)據(jù)集新特性的一種方式。

　　由于大數(shù)據(jù)的技術(shù)門(mén)檻較高，因此目前在該領(lǐng)域展開(kāi)競(jìng)爭(zhēng)的大都是在數(shù)據(jù)存儲(chǔ)、分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢(shì)的廠商。2012年1月，Oracle正式發(fā)布Oracle大數(shù)據(jù)機(jī)。IBM在大數(shù)據(jù)領(lǐng)域的優(yōu)勢(shì)則在于全面，而機(jī)器人“沃森”在人機(jī)大戰(zhàn)中獲勝，更成為IBM為其大數(shù)據(jù)分析解決方案加分的例證。

　　中國(guó)市場(chǎng)在這個(gè)新興領(lǐng)域非常重要。中國(guó)有龐大的人口基數(shù)，IT基礎(chǔ)設(shè)施也比較成熟，數(shù)據(jù)量是不可想象的。樂(lè)觀的人已經(jīng)看到了其中的機(jī)會(huì)，不論是出于應(yīng)對(duì)海量數(shù)據(jù)的需要進(jìn)行系統(tǒng)升級(jí)，還是試圖從數(shù)據(jù)中挖掘價(jià)值的沖動(dòng)，都有可能迎來(lái)一個(gè)充滿智慧的“數(shù)據(jù)創(chuàng)新”時(shí)代?！?/span>