“大數(shù)據(jù)自動(dòng)挖掘”才是現(xiàn)在這些大數(shù)據(jù)的真正意義

現(xiàn)在大數(shù)據(jù)火得不行，幾乎人人都在說大數(shù)據(jù)，但到底什么是大數(shù)據(jù)，恐怕沒有多少人知道，魚目混珠的人太多。

    大數(shù)據(jù)不是指很多很多數(shù)據(jù)。

    所以不是存儲(chǔ)了很多數(shù)據(jù)就是在搞大數(shù)據(jù)了，因?yàn)椤按髷?shù)據(jù)”只是個(gè)簡稱，說全一點(diǎn)應(yīng)是“大數(shù)據(jù)挖掘”,沒經(jīng)過挖掘的大數(shù)據(jù)只是沒有開采出來的原油，一點(diǎn)用處都沒有。

    大數(shù)據(jù)也不是指一般意義上的數(shù)據(jù)挖掘。

    有很多人以前是搞數(shù)據(jù)分析或數(shù)據(jù)挖掘的，當(dāng)《大數(shù)據(jù)時(shí)代》這本書一問世、大數(shù)據(jù)開始火的時(shí)候，他們搖身一變就成了搞大數(shù)據(jù)的專家了。如果真是這樣，就根本沒必要提大數(shù)據(jù)這事兒，因?yàn)樗緛砭鸵恢贝嬖谥?，只不過換個(gè)說法。就好像我們沒必要今天突然提出個(gè)說法“飲H2O”來代替“喝水”.嗯，對(duì)，那叫玩概念。

    “大數(shù)據(jù)挖掘”其實(shí)還沒有說全，再說完整點(diǎn)，應(yīng)該是“大數(shù)據(jù)自動(dòng)挖掘”.

    以前的數(shù)據(jù)分析或挖掘，是指人通過數(shù)據(jù)去進(jìn)行分析，挖掘出一些規(guī)律性的東西以供以后使用。

    但面對(duì)大數(shù)據(jù)，由于不光是數(shù)據(jù)量太大，而且往往包括數(shù)據(jù)的維度也很多，人已不可能去處理這樣海量的數(shù)據(jù)，甚至是如何處理都不知道，這時(shí)必須用電腦來自動(dòng)處理，挖掘出數(shù)據(jù)中的規(guī)律。

    但是目前電腦還不能像人那樣進(jìn)行嚴(yán)密、復(fù)雜的邏輯思維，因此它們也無法用我們?nèi)说乃季S模式去分析數(shù)據(jù)，人可能只要較少的數(shù)據(jù)就能分析出其中的規(guī)律，數(shù)據(jù)多了反而沒有辦法，所以我們?nèi)祟惗际遣捎贸闃臃治觥?/span>

    電腦則正好相反，無法根據(jù)少量數(shù)據(jù)去分析出規(guī)律，但它有一個(gè)優(yōu)勢，那就是運(yùn)算速度非?？?，因此有可能處理海量數(shù)據(jù)以后找出其中的規(guī)律。

    由于電腦還不能進(jìn)行復(fù)雜的邏輯思維，所以它的處理方法很簡單，就是進(jìn)行簡單的統(tǒng)計(jì)運(yùn)算，也就是“硬算”,統(tǒng)計(jì)出在什么情況會(huì)出什么樣的結(jié)果，然后當(dāng)類似的情況再出現(xiàn)時(shí)，它就會(huì)告訴我們可能會(huì)出現(xiàn)某種結(jié)果了。

    由這里也可看大數(shù)據(jù)的另一個(gè)特點(diǎn)，即大數(shù)據(jù)主要是進(jìn)行預(yù)測，告訴你未來將會(huì)出現(xiàn)什么樣的結(jié)果。而不是只分析出過去的走勢和現(xiàn)狀，未來還是要由人去判斷。

    為什么這種簡單的方法會(huì)有效呢？這就回到“大數(shù)據(jù)”這個(gè)詞上來了，那就是因?yàn)閿?shù)據(jù)量非常大，統(tǒng)計(jì)出來的結(jié)果就往往是正確的。

    大家一定都知道這個(gè)例子，扔硬幣來統(tǒng)計(jì)正、反面出現(xiàn)的機(jī)率，如果只扔10次，也許正面出現(xiàn)9次，以此來得出結(jié)論肯定是錯(cuò)的；但如果你扔10萬次、100萬次，甚至更多，那你統(tǒng)計(jì)出來的結(jié)果基本是正確的，正、反面出現(xiàn)的機(jī)率一定是各50%.

    是的，大數(shù)據(jù)自動(dòng)挖掘就是依據(jù)這一原理。

    這里沒有嚴(yán)密的因果分析，不是通過數(shù)據(jù)分析出原因再推導(dǎo)出結(jié)果；而是通過統(tǒng)計(jì)知道有這樣的情況，一般就會(huì)有這樣的結(jié)果，也即現(xiàn)象與結(jié)果的相關(guān)性。所以大數(shù)據(jù)就有一個(gè)顯著的特點(diǎn)，只關(guān)心相關(guān)性，不關(guān)心因果；用更通俗的話說就是“只知道結(jié)果，不知道原因”.

    這實(shí)際是人們根據(jù)電腦的優(yōu)勢，找出了一個(gè)全新的數(shù)據(jù)分析、挖掘方式，與傳統(tǒng)的方式完全不同，所以傳統(tǒng)那些搞數(shù)據(jù)分析或挖掘的專家并不能稱作為搞大數(shù)據(jù)的。

    不過你一定要小心，冷不防你就會(huì)碰上一個(gè)這樣的專家，他們甚至可能是來自某名牌大學(xué)的知名教授之類。進(jìn)到書店你也會(huì)看到許多講大數(shù)據(jù)的書，封面無一例外都有很大的“大數(shù)據(jù)”三個(gè)字，但其實(shí)都是在講傳統(tǒng)、人工的數(shù)據(jù)分析方式，和大數(shù)據(jù)一點(diǎn)邊都不沾。當(dāng)然，這里不包括《大數(shù)據(jù)時(shí)代》這本書。

    另外，傳統(tǒng)搞神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等人工智能的，也基本不算大數(shù)據(jù)，因?yàn)檫@里面還是很多人為因素，包括建模型、對(duì)程序進(jìn)行訓(xùn)練等，這里人仍需要對(duì)所分析的業(yè)務(wù)邏輯非常熟悉才能做，目前這種方法也難以達(dá)到實(shí)用的效果。而大數(shù)據(jù)只是讓電腦根據(jù)一些簡單卻巧妙的算法，去進(jìn)行大量數(shù)據(jù)的統(tǒng)計(jì)，找出連人都想不到的規(guī)律。大數(shù)據(jù)在這里基本是與業(yè)務(wù)邏輯無關(guān)的，人不需要知道這是什么業(yè)務(wù)，比如分析移動(dòng)互聯(lián)網(wǎng)行業(yè)的數(shù)據(jù)，他不需要知道這個(gè)行業(yè)的來龍去脈、當(dāng)前狀況等，他只需要對(duì)大量歷史數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，就能夠找出其未來的走勢。