大數(shù)據(jù)時(shí)代降臨 可能帶來的巨大價(jià)值_數(shù)據(jù)分析師考試

進(jìn)入2012年，大數(shù)據(jù)(big data)一詞越來越多地被提及，人們用它來描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。

　　大數(shù)據(jù)到底有多大

　　大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿1.68億張DVD;發(fā)出的郵件有2940億封之多(相當(dāng)于美國(guó)兩年的紙質(zhì)信件數(shù)量);發(fā)出的社區(qū)帖子達(dá)200萬個(gè)(相當(dāng)于《時(shí)代》雜志770年的文字量);賣出的手機(jī)為37.8萬臺(tái)，高于全球每天出生的嬰兒數(shù)量37.1萬……

　　目前，數(shù)據(jù)量已經(jīng)從TB(1024GB=1TB)級(jí)別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級(jí)別。國(guó)際數(shù)據(jù)公司(IDC)的研究結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB，2009年的數(shù)據(jù)量為0.8ZB，2010年增長(zhǎng)為1.2ZB，2011年的數(shù)量更是高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，全人類歷史上說過的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱，整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。

　　除了數(shù)據(jù)量大之外，大數(shù)據(jù)時(shí)代的數(shù)據(jù)還呈現(xiàn)出其他三個(gè)特征。一是數(shù)據(jù)類型繁多，包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。二是數(shù)據(jù)價(jià)值密度相對(duì)較低。如隨著物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價(jià)值密度較低，如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”，是大數(shù)據(jù)時(shí)代亟待解決的難題。三是處理速度快，時(shí)效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。

　　既有的技術(shù)架構(gòu)和路線，已經(jīng)無法高效處理如此海量的數(shù)據(jù)，而對(duì)于相關(guān)組織來說，如果投入巨大采集的信息無法通過及時(shí)處理反饋有效信息，那將是得不償失的?？梢哉f，大數(shù)據(jù)時(shí)代對(duì)人類的數(shù)據(jù)駕馭能力提出了新的挑戰(zhàn)，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。

　　大數(shù)據(jù)產(chǎn)業(yè)的崛起

　　越來越多的政府、企業(yè)等機(jī)構(gòu)開始意識(shí)到數(shù)據(jù)正在成為組織最重要的資產(chǎn)，數(shù)據(jù)分析能力正在成為組織的核心競(jìng)爭(zhēng)力。

　　今年3月22日，奧巴馬政府宣布投資2億美元拉動(dòng)大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國(guó)家意志。奧巴馬政府將數(shù)據(jù)定義為“未來的新石油”，并表示一個(gè)國(guó)家擁有數(shù)據(jù)的規(guī)模、活性及解釋運(yùn)用的能力將成為綜合國(guó)力的重要組成部分，未來，對(duì)數(shù)據(jù)的占有和控制甚至將成為陸權(quán)、海權(quán)、空權(quán)之外的另一種國(guó)家核心資產(chǎn)。

　　聯(lián)合國(guó)也在2012年發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對(duì)于聯(lián)合國(guó)和各國(guó)政府來說是一個(gè)歷史性的機(jī)遇，人們?nèi)缃窨梢允褂脴O為豐富的數(shù)據(jù)資源，來對(duì)社會(huì)經(jīng)濟(jì)進(jìn)行前所未有的實(shí)時(shí)分析，幫助政府更好地響應(yīng)社會(huì)和經(jīng)濟(jì)運(yùn)行。

　　而最為積極的還是眾多的IT企業(yè)。麥肯錫在一份名為《大數(shù)據(jù)，是下一輪創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的前沿》的專題研究報(bào)告中提出，“對(duì)于企業(yè)來說，海量數(shù)據(jù)的運(yùn)用將成為未來競(jìng)爭(zhēng)和增長(zhǎng)的基礎(chǔ)”，該報(bào)告在業(yè)界引起廣泛反響。

　　IBM則提出，上一個(gè)十年，他們拋棄了PC，成功轉(zhuǎn)向了軟件和服務(wù)，而這次將遠(yuǎn)離服務(wù)與咨詢，更多地專注于因大數(shù)據(jù)分析軟件而帶來的全新業(yè)務(wù)增長(zhǎng)點(diǎn)。IBM執(zhí)行總裁羅睿蘭認(rèn)為，“數(shù)據(jù)將成為一切行業(yè)當(dāng)中決定勝負(fù)的根本因素，最終數(shù)據(jù)將成為人類至關(guān)重要的自然資源?！?/span>

　　在國(guó)內(nèi)，百度已經(jīng)致力于開發(fā)自己的大數(shù)據(jù)處理和存儲(chǔ)系統(tǒng);騰訊也提出目前已經(jīng)到了數(shù)據(jù)化運(yùn)營(yíng)的黃金時(shí)期，如何整合這些數(shù)據(jù)成為未來的關(guān)鍵任務(wù)。

　　事實(shí)上，自2009年以來，有關(guān)“大數(shù)據(jù)” 主題的并購案層出不窮，且并購數(shù)量和規(guī)模呈逐步上升的態(tài)勢(shì)。其中，Oracle對(duì)Sun、惠普對(duì)Autonomy兩大并購案總金額高達(dá)176億美元，大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值由此可見一斑。

　　一種全新的看待世界的方法

　　大數(shù)據(jù)是信息通信技術(shù)發(fā)展積累至今，按照自身技術(shù)發(fā)展邏輯，從提高生產(chǎn)效率向更高級(jí)智能階段的自然生長(zhǎng)。無處不在的信息感知和采集終端為我們采集了海量的數(shù)據(jù)，而以云計(jì)算為代表的計(jì)算技術(shù)的不斷進(jìn)步，為我們提供了強(qiáng)大的計(jì)算能力，這就圍繞個(gè)人以及組織的行為構(gòu)建起了一個(gè)與物質(zhì)世界相平行的數(shù)字世界。

　　大數(shù)據(jù)雖然孕育于信息通信技術(shù)的日漸普遍和成熟，但它對(duì)社會(huì)經(jīng)濟(jì)生活產(chǎn)生的影響絕不限于技術(shù)層面，更本質(zhì)上，它是為我們看待世界提供了一種全新的方法，即決策行為將日益基于數(shù)據(jù)分析做出，而不是像過去更多憑借經(jīng)驗(yàn)和直覺做出。

　　事實(shí)上，大數(shù)據(jù)的影響并不僅僅限于信息通信產(chǎn)業(yè)，而是正在“吞噬”和重構(gòu)很多傳統(tǒng)行業(yè)，廣泛運(yùn)用數(shù)據(jù)分析手段管理和優(yōu)化運(yùn)營(yíng)的公司其實(shí)質(zhì)都是一個(gè)數(shù)據(jù)公司。麥當(dāng)勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數(shù)據(jù)分析基礎(chǔ)之上的精準(zhǔn)選址。而在零售業(yè)中，數(shù)據(jù)分析的技術(shù)與手段更是得到廣泛的應(yīng)用，傳統(tǒng)企業(yè)如沃爾瑪通過數(shù)據(jù)挖掘重塑并優(yōu)化供應(yīng)鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對(duì)海量數(shù)據(jù)的掌握和分析，為用戶提供更加專業(yè)化和個(gè)性化的服務(wù)。

　　最讓人吃驚的例子是，社交媒體監(jiān)測(cè)平臺(tái)DataSift監(jiān)測(cè)了Facebook(臉譜) IPO當(dāng)天Twitter上的情感傾向與Facebook股價(jià)波動(dòng)的關(guān)聯(lián)。在Facebook開盤前Twitter上的情感逐漸轉(zhuǎn)向負(fù)面，25分鐘之后Facebook的股價(jià)便開始下跌。而當(dāng)Twitter上的情感轉(zhuǎn)向正面時(shí)，F(xiàn)acebook股價(jià)在8分鐘之后也開始了回彈。最終當(dāng)股市接近收盤、Twitter上的情感轉(zhuǎn)向負(fù)面時(shí)，10分鐘后Facebook的股價(jià)又開始下跌。最終的結(jié)論是：Twitter上每一次情感傾向的轉(zhuǎn)向都會(huì)影響Facebook股價(jià)的波動(dòng)。

　　這僅僅只是基于社交網(wǎng)絡(luò)產(chǎn)生的大數(shù)據(jù)“預(yù)見未來”的眾多案例之一，此外還有谷歌通過網(wǎng)民搜索行為預(yù)測(cè)流感爆發(fā)等例子。不僅在商業(yè)方面，大數(shù)據(jù)在社會(huì)建設(shè)方面的作為同樣令人驚嘆，智能電網(wǎng)、智慧交通、智慧醫(yī)療、智慧城市等的蓬勃興起，都與大數(shù)據(jù)技術(shù)與應(yīng)用的發(fā)展息息相關(guān)。

　　“大數(shù)據(jù)”可能帶來的巨大價(jià)值正漸漸被人們認(rèn)可，它通過技術(shù)的創(chuàng)新與發(fā)展，以及數(shù)據(jù)的全面感知、收集、分析、共享，為人們提供了一種全新的看待世界的方法。更多地基于事實(shí)與數(shù)據(jù)做出決策，這樣的思維方式，可以預(yù)見，將推動(dòng)一些習(xí)慣于靠“差不多”運(yùn)行的社會(huì)發(fā)生巨大變革。