大數(shù)據(jù)時(shí)代國內(nèi)廠商的路在何方_數(shù)據(jù)分析師考試

近幾年中，web和企業(yè)已經(jīng)見證了數(shù)據(jù)膨脹。這一現(xiàn)象有很多種原因，例如，便宜的terabyte量級(jí)的存儲(chǔ)硬件的商品化，隨著時(shí)間的推移已接近臨界規(guī)模的企業(yè)數(shù)據(jù)，以及允許輕松進(jìn)行信息供應(yīng)和交換的標(biāo)準(zhǔn)。

　　從企業(yè)的角度來說，日益增長(zhǎng)的信息已經(jīng)很難存儲(chǔ)在標(biāo)準(zhǔn)關(guān)系型數(shù)據(jù)庫甚至數(shù)據(jù)倉庫中。這些問題提到了一些在實(shí)踐中已存在多年的難題。例如：怎樣查詢一個(gè)十億行的表？怎樣跨越數(shù)據(jù)中心所有服務(wù)器上的所有日志來運(yùn)行一個(gè)查詢？更為復(fù)雜的問題是，大量需要處理的數(shù)據(jù)是非結(jié)構(gòu)化或者半結(jié)構(gòu)化的，這就更難查詢了。

　　這就不能不提到一個(gè)詞匯BIG DATA（大數(shù)據(jù)）

　　大數(shù)據(jù)（Big data）通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫（relational database）用于分析時(shí)會(huì)花費(fèi)過多時(shí)間和金錢。盡管大數(shù)據(jù)并沒有指定某一個(gè)特定數(shù)量，這個(gè)詞常在說到拍字節(jié)和艾字節(jié)的數(shù)據(jù)時(shí)用到。

　　查看大數(shù)據(jù)（Big data）的最初目的是發(fā)現(xiàn)可重復(fù)的商業(yè)模式。大眾普遍認(rèn)為大部分非結(jié)構(gòu)化數(shù)據(jù)（unstructured data）存在于文本文件中，它至少占據(jù)了企業(yè)數(shù)據(jù)的80%。如果放任這些數(shù)據(jù)不進(jìn)行管理，企業(yè)內(nèi)每年產(chǎn)生的這些龐大的非結(jié)構(gòu)化數(shù)據(jù)量會(huì)在存儲(chǔ)上花費(fèi)巨額。如果信息沒有進(jìn)入合規(guī)性審計(jì)（compliance audit）或訴訟文件中，不受管理的數(shù)據(jù)還能構(gòu)成責(zé)任。

　　大數(shù)據(jù)（Big data）分析常和云計(jì)算（cloud computing）聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集（data set）分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

　　在今天的商業(yè)活動(dòng)中，“大數(shù)據(jù)”扮演著另外一種角色：大企業(yè)越來越多地面臨對(duì)大量結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)進(jìn)行維護(hù)的問題，這些數(shù)據(jù)可能來自資料庫中員工對(duì)于交易信息的報(bào)告，也可能是供應(yīng)商的日常供貨信息——總之這些都是政府要求企業(yè)在日常運(yùn)營中需要保留的數(shù)據(jù)。最近的一些法庭案例更使上述問題凸現(xiàn)出來，使企業(yè)不得不保留大量的文件、電子郵件信息和其他電子通訊記錄，例如即時(shí)信息、IP電話記錄等，這些都可以在他們面臨訴訟時(shí)作為進(jìn)行電子信息調(diào)查的依據(jù)。

　　也許累積大數(shù)據(jù)所面臨的最大的挑戰(zhàn)就是建立一個(gè)可以存儲(chǔ)和得到所有實(shí)時(shí)和未來信息的數(shù)據(jù)庫，并且讓這些信息可以在線用于成本效率分析的平臺(tái)。那就意味著這個(gè)平臺(tái)應(yīng)該是可升級(jí)的。這個(gè)平臺(tái)應(yīng)該涵蓋計(jì)算機(jī)存儲(chǔ)技術(shù)、語言查詢技術(shù)、分析工具、內(nèi)容分析工具和傳輸設(shè)備，因?yàn)镮T中囊括了太多變化的、需要有效利用和維護(hù)的內(nèi)容。

　　世界銀行在線提供其世界范圍內(nèi)的統(tǒng)計(jì)數(shù)據(jù)，美國國會(huì)圖書館自2006年3月起就對(duì)Tweiter論壇上的數(shù)據(jù)進(jìn)行歸檔處理。此外，美國國會(huì)圖書館還提供大量低成本信息和投資數(shù)據(jù)服務(wù)。大數(shù)據(jù)技術(shù)可被用于對(duì)數(shù)據(jù)資源進(jìn)行分析，其中就包括你自己擁有的數(shù)據(jù)，或者將這些數(shù)據(jù)放在一起進(jìn)行分析。

　　舉個(gè)例子，F(xiàn)light Caster是一家提供航班延誤信息預(yù)測(cè)的公司，它主要根據(jù)主要航空公司的航班運(yùn)行情況進(jìn)行預(yù)測(cè)。與航空公司所擁有的類似航班運(yùn)行情況的專有信息一樣，該公司擁有大量國內(nèi)航班飛行和航班實(shí)時(shí)運(yùn)行狀況的歷史數(shù)據(jù)。Flightcaster的秘訣就是其對(duì)大數(shù)據(jù)分析的有效利用和使用適當(dāng)?shù)能浖ぞ邔?duì)產(chǎn)出數(shù)據(jù)進(jìn)行實(shí)時(shí)管理。這或許對(duì)于中國國內(nèi)航空公司來說也許是值得借鑒的。