傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的區(qū)別

無疑，數(shù)據(jù)信息的大爆炸不斷提醒著我們，未來將會因大數(shù)據(jù)技術而改變。大數(shù)據(jù)（Big data）通常用來形容數(shù)字化時代下創(chuàng)造出的大量非結構化和半結構化數(shù)據(jù)。大數(shù)據(jù)無疑是未來影響各行各業(yè)發(fā)展的最受矚目的技術之一。2009年時，全世界關于大數(shù)據(jù)的研究項目還非常有限，從2011年開始，越來越多的管理者開始意識到，大數(shù)據(jù)將是未來發(fā)展不可規(guī)避的問題，而到2012年年底，世界財富500 強企業(yè)中90%的企業(yè)都開展了大數(shù)據(jù)的項目。IDC的研究顯示，到2015年，大數(shù)據(jù)市場前景將達到169億美元的規(guī)模。當前所有企業(yè)的商業(yè)數(shù)據(jù)每隔1.2年就將遞增一倍。
    那么，大數(shù)據(jù)為什么成為所有人關注的焦點？大數(shù)據(jù)帶來了什么樣的本質性改變？為此，我們與中國計算機學會大數(shù)據(jù)學術帶頭人、中國人民大學信息學院院長杜小勇教授進行了訪談。
    杜小勇教授認為，大數(shù)據(jù)帶來了三大根本改變：第一、大數(shù)據(jù)讓人們脫離了對算法和模型的依賴，數(shù)據(jù)本身即可幫助人們貼近事情的真相；第二、大數(shù)據(jù)弱化了因果關系。大數(shù)據(jù)分析可以挖掘出不同要素之間的相關關系。人們不需要知道這些要素為什么相關就可以利用其結果，在信息復雜錯綜的現(xiàn)代社會，這樣的應用將大大提高效率；第三、與之前的數(shù)據(jù)庫相關技術相比，大數(shù)據(jù)可以處理半結構化或非結構化的數(shù)據(jù)。這將使計算機能夠分析的數(shù)據(jù)范圍迅速擴大。
   傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的區(qū)別
   第一、計算機科學在大數(shù)據(jù)出現(xiàn)之前，非常依賴模型以及算法。人們如果想要得到精準的結論，需要建立模型來描述問題，同時，需要理順邏輯，理解因果，設計精妙的算法來得出接近現(xiàn)實的結論。因此，一個問題，能否得到最好的解決，取決于建模是否合理，各種算法的比拼成為決定成敗的關鍵。然而，大數(shù)據(jù)的出現(xiàn)徹底改變了人們對于建模和算法的依賴。舉例來說，假設解決某一問題有算法A 和算法B。在小量數(shù)據(jù)中運行時，算法A的結果明顯優(yōu)于算法B。也就是說，就算法本身而言，算法A能夠帶來更好的結果；然而，人們發(fā)現(xiàn)，當數(shù)據(jù)量不斷增大時，算法B在大量數(shù)據(jù)中運行的結果優(yōu)于算法A在小量數(shù)據(jù)中運行的結果。這一發(fā)現(xiàn)給計算機學科及計算機衍生學科都帶來了里程碑式的啟示：當數(shù)據(jù)越來越大時，數(shù)據(jù)本身（而不是研究數(shù)據(jù)所使用的算法和模型）保證了數(shù)據(jù)分析結果的有效性。即便缺乏精準的算法，只要擁有足夠多的數(shù)據(jù)，也能得到接近事實的結論。數(shù)據(jù)因此而被譽為新的生產力。
    第二、當數(shù)據(jù)足夠多的時候，不需要了解具體的因果關系就能夠得出結論。
    例如，Google 在幫助用戶翻譯時，并不是設定各種語法和翻譯規(guī)則。而是利用Google數(shù)據(jù)庫中收集的所有用戶的用詞習慣進行比較推薦。Google檢查所有用戶的寫作習慣，將最常用、出現(xiàn)頻率最高的翻譯方式推薦給用戶。在這一過程中，計算機可以并不了解問題的邏輯，但是當用戶行為的記錄數(shù)據(jù)越來越多時，計算機就可以在不了解問題邏輯的情況之下，提供最為可靠的結果?？梢?，海量數(shù)據(jù)和處理這些數(shù)據(jù)的分析工具，為理解世界提供了一條完整的新途徑。
    第三、由于能夠處理多種數(shù)據(jù)結構，大數(shù)據(jù)能夠在最大程度上利用互聯(lián)網上記錄的人類行為數(shù)據(jù)進行分析。大數(shù)據(jù)出現(xiàn)之前，計算機所能夠處理的數(shù)據(jù)都需要前期進行結構化處理，并記錄在相應的數(shù)據(jù)庫中。但大數(shù)據(jù)技術對于數(shù)據(jù)的結構的要求大大降低，互聯(lián)網上人們留下的社交信息、地理位置信息、行為習慣信息、偏好信息等各種維度的信息都可以實時處理，立體完整地勾勒出每一個個體的各種特征。