大數(shù)據(jù)應(yīng)用過程中，三大難題未解

近年來，大數(shù)據(jù)這個(gè)詞成為互聯(lián)網(wǎng)領(lǐng)域關(guān)注度最高的詞匯，時(shí)至今日，大數(shù)據(jù)已經(jīng)不再是IT圈的“專利”了，從去年的春晚，到剛剛過去的兩會(huì)，都能見到它的身影，但實(shí)際上春晚與兩會(huì)的數(shù)據(jù)都只能叫做小數(shù)據(jù)，它與真正的大數(shù)據(jù)還相差甚遠(yuǎn)。即便如此，數(shù)據(jù)所產(chǎn)生的價(jià)值已經(jīng)被人們所認(rèn)知。

    就大數(shù)據(jù)來說，它的發(fā)展可以分成三個(gè)階段，第一個(gè)階段是組織內(nèi)部的數(shù)據(jù)，這些數(shù)據(jù)通常都是結(jié)構(gòu)化的數(shù)據(jù)，我們一般將這些數(shù)據(jù)進(jìn)行分類、排序等操作，將相同類型的數(shù)據(jù)進(jìn)行對(duì)比、分析、挖掘，總而言之基本上都是統(tǒng)計(jì)工作。到了第二階段，數(shù)據(jù)的范圍擴(kuò)大到行業(yè)內(nèi)，各種各樣的應(yīng)用數(shù)據(jù)出現(xiàn)，數(shù)據(jù)量大規(guī)模增長(zhǎng)，尤其是非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)。典型的像視頻、圖片這一類的數(shù)據(jù)，在這一階段的特點(diǎn)就是非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)并存，且數(shù)據(jù)量巨大，要對(duì)這些數(shù)據(jù)進(jìn)行分析是我們目前現(xiàn)階段所處在的狀態(tài)。
    第三階段則是未來大數(shù)據(jù)發(fā)展的理想化狀態(tài)，首先它一定是跨行業(yè)的，且數(shù)據(jù)的范圍是整個(gè)社會(huì)。通過對(duì)這些數(shù)據(jù)進(jìn)行分析加以使用，將直接改變我們的生活方式，這也是現(xiàn)在很多企業(yè)所設(shè)想的未來交通、醫(yī)療、教育等領(lǐng)域的發(fā)展方向。
   大數(shù)據(jù)太大不敢用
    第三個(gè)階段是我們所憧憬的，但在我們所處的第二階段面對(duì)的更多是問題。其中的一個(gè)問題就是“大”。大數(shù)據(jù)給人最直觀的感受就是大，它所帶來的問題不僅僅是存儲(chǔ)，更多的是龐大的數(shù)據(jù)沒辦法使用，以交通為例，從2001年開始在北京的主干道上都增設(shè)了一些卡口設(shè)備，到了今天基本上大街小巷都能看到。
    這些設(shè)備每天所拍攝的視頻及照片產(chǎn)生的數(shù)據(jù)量是驚人的，僅照片每天就能產(chǎn)生2千萬張，而解決這些數(shù)據(jù)的存儲(chǔ)只是最基本的任務(wù)，我們更需要的是使用這些數(shù)據(jù)。例如對(duì)套牌車輛的檢查，對(duì)嫌疑車輛的監(jiān)控，當(dāng)你想要使用這些數(shù)據(jù)的時(shí)候，傳統(tǒng)的數(shù)據(jù)庫以及系統(tǒng)架構(gòu)，放進(jìn)這么龐大的數(shù)據(jù)，是根本跑不動(dòng)的。這一問題導(dǎo)致很多企業(yè)對(duì)大數(shù)據(jù)望而卻步。
   大數(shù)據(jù)太難不會(huì)用
    說到大數(shù)據(jù)的使用，自然離不開Hadoop，Hadoop本身提供了分布式系統(tǒng)中兩個(gè)最重要的東西：分布式存儲(chǔ)（HDFS）和分布式計(jì)算（Mapreduce）。這兩者解決了處理大數(shù)據(jù)面臨的計(jì)算和存儲(chǔ)問題，但更為重要的是，為開發(fā)大數(shù)據(jù)應(yīng)用開辟了道路。
    Hadoop是目前解決大數(shù)據(jù)問題最流行的一種方式，但其仍然有不成熟的地方，曾作為雅虎云計(jì)算以及Facebook軟件工程師的Jonathan Gray就表示：“Hadoop實(shí)施難度大，且復(fù)雜，如果不解決技術(shù)復(fù)雜性問題，Hadoop將被自己終結(jié)。”正是由于這樣的原因，Gray創(chuàng)辦了自己的公司——Continuuity，這家公司的目標(biāo)就是在Hadoop和Hbase基礎(chǔ)上創(chuàng)建一個(gè)抽象層，屏蔽掉Hadoop底層技術(shù)的復(fù)雜性。由此可見想要用好大數(shù)據(jù)又是一大考驗(yàn)。
   大數(shù)據(jù)太貴用不起
    Hadoop的特點(diǎn)就是讓你可以使用廉價(jià)的x86設(shè)備來完成大數(shù)據(jù)的業(yè)務(wù)，但事實(shí)上如果你真想要用它來完成某些商業(yè)任務(wù)你還得是個(gè)“土豪”。在國(guó)外那些使用大數(shù)據(jù)的成功案例里，亞馬遜曾給出過這樣一組數(shù)字，NASA需要為45天的數(shù)據(jù)存儲(chǔ)服務(wù)支付超過100萬美元。像Quantcast這樣的數(shù)字廣告公司，同樣也是花費(fèi)了巨額的資金用在Hadoop技術(shù)上，來根據(jù)自己的需求定制系統(tǒng)。從上面兩個(gè)案例來看用于商業(yè)用途的大數(shù)據(jù)現(xiàn)階段還是很費(fèi)錢的，隨著大數(shù)據(jù)軟件環(huán)境逐漸成熟，開發(fā)工具增多，價(jià)格在未來會(huì)逐漸降低。
    從上面羅列的這三點(diǎn)困難，其實(shí)并不是要給大數(shù)據(jù)潑冷水，而是想說大數(shù)據(jù)想要淘金并不簡(jiǎn)單，首先在做大數(shù)據(jù)之前，好好盤點(diǎn)一下自己擁有的資源，不僅僅是數(shù)據(jù)資源，還包括知識(shí)與技能。確定了自己的能力之后，選擇一個(gè)能夠發(fā)揮你現(xiàn)有資源最大價(jià)值的項(xiàng)目。如果你需要幫手，應(yīng)先考慮商業(yè)顧問，再考慮技術(shù)人才。為了解答一個(gè)生意上的困惑花下的錢，叫作投資，而把錢投到一個(gè)擁有特殊技能的IT人才身上，那就叫沉沒成本。當(dāng)你有了這些之后，選擇更靈活且可擴(kuò)展的工具，為以后的擴(kuò)充打好基礎(chǔ)。更重要的是——從小規(guī)模做起。
    評(píng)論：
    隨著大數(shù)據(jù)應(yīng)用領(lǐng)域的擴(kuò)大，相關(guān)難題也等待解決，相信在大數(shù)據(jù)的未來發(fā)展中，以上三大難題會(huì)逐漸解決，也許不遠(yuǎn)的將來，大數(shù)據(jù)會(huì)成為企業(yè)必備技能。但那一天還遠(yuǎn)遠(yuǎn)未曾到來。當(dāng)那些供應(yīng)商花了上百萬美元布局大數(shù)據(jù)分析時(shí)，你可以放心，你并沒有錯(cuò)過什么。而且你的錢花到了更需要的地方，獲得了更多的效率和價(jià)值。