大數(shù)據(jù)應(yīng)用過程中,三大難題未解_數(shù)據(jù)分析師考試

近年來，大數(shù)據(jù)這個詞成為互聯(lián)網(wǎng)領(lǐng)域關(guān)注度最高的詞匯，時至今日，大數(shù)據(jù)已經(jīng)不再是IT圈的“專利”了，從去年的春晚，到剛剛過去的兩會，都能見到它的身影，但實(shí)際上春晚與兩會的數(shù)據(jù)都只能叫做小數(shù)據(jù)，它與真正的大數(shù)據(jù)還相差甚遠(yuǎn)。即便如此，數(shù)據(jù)所產(chǎn)生的價(jià)值已經(jīng)被人們所認(rèn)知。

就大數(shù)據(jù)來說，它的發(fā)展可以分成三個階段，第一個階段是組織內(nèi)部的數(shù)據(jù)，這些數(shù)據(jù)通常都是結(jié)構(gòu)化的數(shù)據(jù)，我們一般將這些數(shù)據(jù)進(jìn)行分類、排序等操作，將相同類型的數(shù)據(jù)進(jìn)行對比、分析、挖掘，總而言之基本上都是統(tǒng)計(jì)工作。到了第二階段，數(shù)據(jù)的范圍擴(kuò)大到行業(yè)內(nèi)，各種各樣的應(yīng)用數(shù)據(jù)出現(xiàn)，數(shù)據(jù)量大規(guī)模增長，尤其是非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)。典型的像視頻、圖片這一類的數(shù)據(jù)，在這一階段的特點(diǎn)就是非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)并存，且數(shù)據(jù)量巨大，要對這些數(shù)據(jù)進(jìn)行分析是我們目前現(xiàn)階段所處在的狀態(tài)。

第三階段則是未來大數(shù)據(jù)發(fā)展的理想化狀態(tài)，首先它一定是跨行業(yè)的，且數(shù)據(jù)的范圍是整個社會。通過對這些數(shù)據(jù)進(jìn)行分析加以使用，將直接改變我們的生活方式，這也是現(xiàn)在很多企業(yè)所設(shè)想的未來交通、醫(yī)療、教育等領(lǐng)域的發(fā)展方向。

大數(shù)據(jù)太大不敢用

第三個階段是我們所憧憬的，但在我們所處的第二階段面對的更多是問題。其中的一個問題就是“大”。大數(shù)據(jù)給人最直觀的感受就是大，它所帶來的問題不僅僅是存儲，更多的是龐大的數(shù)據(jù)沒辦法使用，以交通為例，從2001年開始在北京的主干道上都增設(shè)了一些卡口設(shè)備，到了今天基本上大街小巷都能看到。

這些設(shè)備每天所拍攝的視頻及照片產(chǎn)生的數(shù)據(jù)量是驚人的，僅照片每天就能產(chǎn)生2千萬張，而解決這些數(shù)據(jù)的存儲只是最基本的任務(wù)，我們更需要的是使用這些數(shù)據(jù)。例如對套牌車輛的檢查，對嫌疑車輛的監(jiān)控，當(dāng)你想要使用這些數(shù)據(jù)的時候，傳統(tǒng)的數(shù)據(jù)庫以及系統(tǒng)架構(gòu)，放進(jìn)這么龐大的數(shù)據(jù)，是根本跑不動的。這一問題導(dǎo)致很多企業(yè)對大數(shù)據(jù)望而卻步。

大數(shù)據(jù)太難不會用

說到大數(shù)據(jù)的使用，自然離不開Hadoop，Hadoop本身提供了分布式系統(tǒng)中兩個最重要的東西：分布式存儲(HDFS)和分布式計(jì)算(Mapreduce)。這兩者解決了處理大數(shù)據(jù)面臨的計(jì)算和存儲問題，但更為重要的是，為開發(fā)大數(shù)據(jù)應(yīng)用開辟了道路。

Hadoop是目前解決大數(shù)據(jù)問題最流行的一種方式，但其仍然有不成熟的地方，曾作為雅虎云計(jì)算以及Facebook軟件工程師的Jonathan Gray就表示：“Hadoop實(shí)施難度大，且復(fù)雜，如果不解決技術(shù)復(fù)雜性問題，Hadoop將被自己終結(jié)?！闭怯捎谶@樣的原因，Gray創(chuàng)辦了自己的公司——Continuuity，這家公司的目標(biāo)就是在Hadoop和Hbase基礎(chǔ)上創(chuàng)建一個抽象層，屏蔽掉Hadoop底層技術(shù)的復(fù)雜性。由此可見想要用好大數(shù)據(jù)又是一大考驗(yàn)。

大數(shù)據(jù)太貴用不起

Hadoop的特點(diǎn)就是讓你可以使用廉價(jià)的x86設(shè)備來完成大數(shù)據(jù)的業(yè)務(wù)，但事實(shí)上如果你真想要用它來完成某些商業(yè)任務(wù)你還得是個“土豪”。在國外那些使用大數(shù)據(jù)的成功案例里，亞馬遜曾給出過這樣一組數(shù)字，NASA需要為45天的數(shù)據(jù)存儲服務(wù)支付超過100萬美元。像Quantcast這樣的數(shù)字廣告公司，同樣也是花費(fèi)了巨額的資金用在Hadoop技術(shù)上，來根據(jù)自己的需求定制系統(tǒng)。從上面兩個案例來看用于商業(yè)用途的大數(shù)據(jù)現(xiàn)階段還是很費(fèi)錢的，隨著大數(shù)據(jù)軟件環(huán)境逐漸成熟，開發(fā)工具增多，價(jià)格在未來會逐漸降低。

從上面羅列的這三點(diǎn)困難，其實(shí)并不是要給大數(shù)據(jù)潑冷水，而是想說大數(shù)據(jù)想要淘金并不簡單，首先在做大數(shù)據(jù)之前，好好盤點(diǎn)一下自己擁有的資源，不僅僅是數(shù)據(jù)資源，還包括知識與技能。確定了自己的能力之后，選擇一個能夠發(fā)揮你現(xiàn)有資源最大價(jià)值的項(xiàng)目。如果你需要幫手，應(yīng)先考慮商業(yè)顧問，再考慮技術(shù)人才。為了解答一個生意上的困惑花下的錢，叫作投資，而把錢投到一個擁有特殊技能的IT人才身上，那就叫沉沒成本。當(dāng)你有了這些之后，選擇更靈活且可擴(kuò)展的工具，為以后的擴(kuò)充打好基礎(chǔ)。更重要的是——從小規(guī)模做起。