別在被忽悠了！盤點大數據現狀與國人思維誤區(qū)

近兩年，“大數據”已成為業(yè)界和學術界舌尖上的熱詞，從央視的春運遷徙圖到美國奧巴馬政府宣布投資2億美元啟動“大數據研究與開發(fā)計劃;從兩會期間的兩會大數據到預報旅游熱點，“大數據”被人們推到了一個前所未有的高度。但是，在歡呼和激動了數年后，我們更需要認真思考如何利用大數據、如何正確挖掘出大數據的價值。2014年底，IT168記者與Informatica中國區(qū)的幾位資深技術專家，就大數據的現狀、思維、技術和發(fā)展等問題進行了深入探討與剖析。

　　大數據現狀：思路已有，離成功尚遠

　　大數據真正開始做始于去年，通過兩年的嘗試、積累，思路已有，但離成功還很遠。一些國外的大數據案例、大數據故事無非是商務智能(BI)、數據倉庫(BW)的改頭換面，新瓶裝舊酒而已。就如數據倉庫一樣，建設了近20年才讓每個企業(yè)真正承認其價值，大數據也不能期望很快就獲得成功，需要一個沉淀時間。在Informatica技術專家看來，如果要給個期限，那這個時間至少需要10年。

　　大數據發(fā)展可以用一個波浪式的圖來形容，現在還處于第一個峰頂，必須經過低谷再升起，幾輪反復。這期間，大家可能會看到許多大數據真實的案例，不管是成功的還是失敗的都會給我們啟示。只要嘗試了就不一定完全失敗，就如數據倉庫建設，幾年前很多報告都顯示80%的項目失敗，但仔細分析后發(fā)現，只是在發(fā)展過程當中沒有達到預期價值而已。前人淌過的路，后邊的人可以少走一些雷區(qū)。

　　大數據應用的必要前提：數據治理

　 　越來越多的行業(yè)和企業(yè)開始關注數據這一企業(yè)核心資產，但對于數據如何治理，如何管控卻沒有合適的方法體系的產品支撐，大數據就必須以數據治理為基礎，沒 有數據治理談不上大數據，數據家家都有，但不治理根本用不上，而這些恰恰是Informatica公司的核心競爭力所在。

　　在紛繁雜亂的大數據面前，沒有良好的數據質量，沒有更加良好的數據管理策略，用于業(yè)務應用的投資將隨著應用組合在企業(yè)內的增長和擴展而日漸縮水。做大數據，90%的企業(yè)走的路子都不可能實現放煙花式的很炫效果，他們首先還是要踏踏實實地解決數據整合、數據質量和主數據管理等問題。Informatica技術專家建議道。

　　大數據市場：安全先行

　　在生活中我們常會有這樣的經歷，瀏覽新聞網頁時跳出的淘寶推薦商品竟然是你想買的東西，在家里休息時會突然接到各種保險推銷電話。對于這種司空見慣的信息數據泄露人們似乎習以為常。而當更加隱私、敏感的12306數據的泄露事件，還是讓不少人感到十分后怕。進入大數據時代后，數據將更加透明，數據信息安全的挑戰(zhàn)變得越來越嚴峻。

　　近兩年，國家政府著重強調信息安全，企業(yè)都非常關注數據安全問題。敏感的個人、財務和健康信息受到多種不同行業(yè)和政府數據隱私法規(guī)的管制，如果企業(yè)無法保持數據隱私，他們就會面臨嚴重的財務和法律懲罰，同時還會在客戶與市場信心方面蒙受可觀損失。

　　IT168記者了解到，2014年，Informatica數據安全方案因滿足市場熱點需求而成為業(yè)務增長較快的單元。大數據的發(fā)展還有許多亟待解決的難題，但無疑解決大家最擔心的數據安全問題應當是重中之重。

　　大數據思維：允許數據的不精確性

　 　以前，由于可獲得的數據量比較小，為此我們必須盡量準確的記錄下所獲得的所有數據，做出個KPI供領導參考，采樣過程的精確度被放在重要的地位。顯然， 這種對精確性的執(zhí)著是信息缺乏時代的產物。大數據時代，數據的收集問題不再成為困擾，采集全量的數據成為現實，但海量數據的涌現一定會增加數據的混亂性且 造成結果的不準確性，如果仍執(zhí)迷精確性，那么將無法應對這個新的時代。

　　大數據通常都用概率說話，且大數據處理之前是可以對之進行清洗從而減少部分的錯誤數據。所以，與致力于避免錯誤相比，對錯誤的包容將會帶給我們更多信息。其實，允許數據的混雜性和容許結果的不精確性才是我們擁抱大數據的正確態(tài)度，只要做到10%準確結果，能夠達成業(yè)務數十倍的增長即可，這是真正的大數據思維，未來我們應當習慣這種思維。

　　大數據思維：大數據不是單純的技術問題

　　大數據不是一個純技術問題，會包含很多管理、業(yè)務方面的內容。并不是說，購買了一套數據挖掘工具，組建了一個Hadoop環(huán)境，就能稱為做了大數據。除了設備、技術上的投資，企業(yè)還需要從組織結構、人員意識、管理方式、企業(yè)文化等方面都有一個轉變。大數據的前期準備工作很多，這是一種思維上的全面變革。大家都是摸著石頭過河，走一步想一想，然后再走一步再想，直到最后成功上岸。

　 　在這樣的一個過程當中，人們的思想還要跟隨大數據技術的發(fā)展不斷更新，同時也要對一些過去的想法進行糾正和改變。當然，這個時間不會像以前數據倉庫那樣 花費20年，大數據可能會縮短一半時間。因為數據倉庫時代是從無到有，而大數據時代是從有到更好，人們已經從建設數據倉庫中積累了很多的經驗、技術、教 訓，甚至有效的管理方法，可以很好地借鑒。

　　大數據思維：大數據技術解決的不僅僅是非結構化數據問題

　　新興的大數據技術提供了非常有效的手段，讓人們可以花很低的代價去分析、處理非結構化的數據，但是這些非結構化數據有一個特點，就是密度還很低，它遠不如結構化數據有非常高的價值密度，可能100G的非結構化數據，最終有效的才1G。這表明，非結構化數據是對數據完整度的很大補充，但是并不能說大數據就是做非結構化數據，其實最終的目的還是要發(fā)掘數據價值。另外一方面，傳統(tǒng)的數據倉庫已經能夠完成現有結構化數據90%的利用程度，在這種背景下，人們才會把大數據的焦點放在對非結構化的處理上。

　　當前，非結構化數據大量產生，如機器日志、傳感器的 數據、社交媒體的數據，都是以非結構化形式存在，而傳統(tǒng)的方式對這些數據的處理能力比較欠缺。如果用木桶效應來比喻，首先要把這個短板補上，與結構化數據 處理的效率和能力齊平之后，更多的就是圍繞數據如何使用來進行更深一步的研究。還要認識到一點，大數據技術能夠處理半結構化、非結構化的數據，不過，這些 數據總是要轉換成結構化的數據才能分析，算法可能輸入的是非結構化的，如視頻信息，但是剛進來不到10秒就變成結構化，最后顯示出來的還是表格式結構化的 結果。