什么是真正的大數(shù)據(jù) 

現(xiàn)在大數(shù)據(jù)火得不行，幾乎人人都在說(shuō)大數(shù)據(jù)，但到底什么是大數(shù)據(jù)，恐怕沒(méi)有多少人知道，魚(yú)目混珠的人太多。

大數(shù)據(jù)不是指很多很多數(shù)據(jù)。

所以不是存儲(chǔ)了很多數(shù)據(jù)就是在搞大數(shù)據(jù)了，因?yàn)椤按髷?shù)據(jù)”只是個(gè)簡(jiǎn)稱，說(shuō)全一點(diǎn)應(yīng)是“大數(shù)據(jù)挖掘”，沒(méi)經(jīng)過(guò)挖掘的大數(shù)據(jù)只是沒(méi)有開(kāi)采出來(lái)的原油，一點(diǎn)用處都沒(méi)有。

大數(shù)據(jù)也不是指一般意義上的數(shù)據(jù)挖掘。

有很多人以前是搞數(shù)據(jù)分析或數(shù)據(jù)挖掘的，當(dāng)《大數(shù)據(jù)時(shí)代》這本書(shū)一問(wèn)世、大數(shù)據(jù)開(kāi)始火的時(shí)候，他們搖身一變就成了搞大數(shù)據(jù)的專家了。如果真是這樣，就根本沒(méi)必要提大數(shù)據(jù)這事兒，因?yàn)樗緛?lái)就一直存在著，只不過(guò)換個(gè)說(shuō)法。就好像我們沒(méi)必要今天突然提出個(gè)說(shuō)法“飲H2O”來(lái)代替“喝水”。嗯，對(duì)，那叫玩概念。

“大數(shù)據(jù)挖掘”其實(shí)還沒(méi)有說(shuō)全，再說(shuō)完整點(diǎn)，應(yīng)該是“大數(shù)據(jù)自動(dòng)挖掘”。

以前的數(shù)據(jù)分析或挖掘，是指人通過(guò)數(shù)據(jù)去進(jìn)行分析，挖掘出一些規(guī)律性的東西以供以后使用。

但面對(duì)大數(shù)據(jù)，由于不光是數(shù)據(jù)量太大，而且往往包括數(shù)據(jù)的維度也很多，人已不可能去處理這樣海量的數(shù)據(jù)，甚至是如何處理都不知道，這時(shí)必須用電腦來(lái)自動(dòng)處理，挖掘出數(shù)據(jù)中的規(guī)律。

但是目前電腦還不能像人那樣進(jìn)行嚴(yán)密、復(fù)雜的邏輯思維，因此它們也無(wú)法用我們?nèi)说乃季S模式去分析數(shù)據(jù)，人可能只要較少的數(shù)據(jù)就能分析出其中的規(guī)律，數(shù)據(jù)多了反而沒(méi)有辦法，所以我們?nèi)祟惗际遣捎贸闃臃治觥?/span>

電腦則正好相反，無(wú)法根據(jù)少量數(shù)據(jù)去分析出規(guī)律，但它有一個(gè)優(yōu)勢(shì)，那就是運(yùn)算速度非?？欤虼擞锌赡芴幚砗Ａ繑?shù)據(jù)以后找出其中的規(guī)律。

由于電腦還不能進(jìn)行復(fù)雜的邏輯思維，所以它的處理方法很簡(jiǎn)單，就是進(jìn)行簡(jiǎn)單的統(tǒng)計(jì)運(yùn)算，也就是“硬算”，統(tǒng)計(jì)出在什么情況會(huì)出什么樣的結(jié)果，然后當(dāng)類似的情況再出現(xiàn)時(shí)，它就會(huì)告訴我們可能會(huì)出現(xiàn)某種結(jié)果了。

由這里也可看大數(shù)據(jù)的另一個(gè)特點(diǎn)，即大數(shù)據(jù)主要是進(jìn)行預(yù)測(cè)，告訴你未來(lái)將會(huì)出現(xiàn)什么樣的結(jié)果。而不是只分析出過(guò)去的走勢(shì)和現(xiàn)狀，未來(lái)還是要由人去判斷。

為什么這種簡(jiǎn)單的方法會(huì)有效呢？這就回到“大數(shù)據(jù)”這個(gè)詞上來(lái)了，那就是因?yàn)閿?shù)據(jù)量非常大，統(tǒng)計(jì)出來(lái)的結(jié)果就往往是正確的。

大家一定都知道這個(gè)例子，扔硬幣來(lái)統(tǒng)計(jì)正、反面出現(xiàn)的機(jī)率，如果只扔10次，也許正面出現(xiàn)9次，以此來(lái)得出結(jié)論肯定是錯(cuò)的；但如果你扔10萬(wàn)次、100萬(wàn)次，甚至更多，那你統(tǒng)計(jì)出來(lái)的結(jié)果基本是正確的，正、反面出現(xiàn)的機(jī)率一定是各50%。

是的，大數(shù)據(jù)自動(dòng)挖掘就是依據(jù)這一原理。

這里沒(méi)有嚴(yán)密的因果分析，不是通過(guò)數(shù)據(jù)分析出原因再推導(dǎo)出結(jié)果；而是通過(guò)統(tǒng)計(jì)知道有這樣的情況，一般就會(huì)有這樣的結(jié)果，也即現(xiàn)象與結(jié)果的相關(guān)性。所以大數(shù)據(jù)就有一個(gè)顯著的特點(diǎn)，只關(guān)心相關(guān)性，不關(guān)心因果；用更通俗的話說(shuō)就是“只知道結(jié)果，不知道原因”。

這實(shí)際是人們根據(jù)電腦的優(yōu)勢(shì)，找出了一個(gè)全新的數(shù)據(jù)分析、挖掘方式，與傳統(tǒng)的方式完全不同，所以傳統(tǒng)那些搞數(shù)據(jù)分析或挖掘的專家并不能稱作為搞大數(shù)據(jù)的。

不過(guò)你一定要小心，冷不防你就會(huì)碰上一個(gè)這樣的專家，他們甚至可能是來(lái)自某名牌大學(xué)的知名教授之類。進(jìn)到書(shū)店你也會(huì)看到許多講大數(shù)據(jù)的書(shū)，封面無(wú)一例外都有很大的“大數(shù)據(jù)”三個(gè)字，但其實(shí)都是在講傳統(tǒng)、人工的數(shù)據(jù)分析方式，和大數(shù)據(jù)一點(diǎn)邊都不沾。當(dāng)然，這里不包括《大數(shù)據(jù)時(shí)代》這本書(shū)。

另外，傳統(tǒng)搞神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等人工智能的，也基本不算大數(shù)據(jù)，因?yàn)檫@里面還是很多人為因素，包括建模型、對(duì)程序進(jìn)行訓(xùn)練等，這里人仍需要對(duì)所分析的業(yè)務(wù)邏輯非常熟悉才能做，目前這種方法也難以達(dá)到實(shí)用的效果。而大數(shù)據(jù)只是讓電腦根據(jù)一些簡(jiǎn)單卻巧妙的算法，去進(jìn)行大量數(shù)據(jù)的統(tǒng)計(jì)，找出連人都想不到的規(guī)律。大數(shù)據(jù)在這里基本是與業(yè)務(wù)邏輯無(wú)關(guān)的，人不需要知道這是什么業(yè)務(wù)，比如分析移動(dòng)互聯(lián)網(wǎng)行業(yè)的數(shù)據(jù)，他不需要知道這個(gè)行業(yè)的來(lái)龍去脈、當(dāng)前狀況等，他只需要對(duì)大量歷史數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，就能夠找出其未來(lái)的走勢(shì)。

說(shuō)到這，你一定很想問(wèn)，那就找不到一個(gè)真正搞大數(shù)據(jù)的了？

先來(lái)講個(gè)小故事：

80年代有倆計(jì)算機(jī)呆子在IBM做翻譯系統(tǒng)。當(dāng)時(shí)的磚家都在探索語(yǔ)言之間的內(nèi)在聯(lián)系，語(yǔ)法、句法神馬的。倆呆子路數(shù)不同，他們把能找到的各種語(yǔ)言相對(duì)應(yīng)的文獻(xiàn)全部做成數(shù)據(jù)，旁人批評(píng)“這種計(jì)算機(jī)蠻力不算科學(xué)”，后來(lái)他倆被一個(gè)對(duì)沖基金老板招走了?，F(xiàn)這倆呆子是復(fù)興科技co-CEO，老板是Jim Simons。

復(fù)興科技co-CEO每位年收入大概是1億美元，比華爾街各大行CEO的年收入要高一些，關(guān)鍵是這兩位幾乎名不見(jiàn)經(jīng)傳。他們老板James Simons比較有名，是位數(shù)學(xué)家，跟陳省身一起寫(xiě)過(guò)定理，跟楊振寧是同事，年收入超過(guò)10億美元，現(xiàn)在退休做慈善。清華有Chern-Simons樓，是楊振寧拉Simons掏錢(qián)修的。

在金融投資領(lǐng)域，只關(guān)注相關(guān)性、不關(guān)注因果的對(duì)沖基金做得很好（復(fù)興科技，DE Shaw），但金融理論基礎(chǔ)深厚、大數(shù)據(jù)分析能力欠佳的公司卻沒(méi)有類似的業(yè)績(jī)，MIT金融學(xué)家羅聞全坦言不明白復(fù)興科技在干什么。

喂，說(shuō)你呢，別老盯著人家年收入1億美元。

這里關(guān)鍵的是很多人批評(píng)“這種計(jì)算機(jī)蠻力不算科學(xué)”（這些人肯定都是磚家，否則估計(jì)也沒(méi)資格批評(píng)），還有就是金融學(xué)家們完全不明白他們?cè)诟墒裁础?/span>

這說(shuō)明了什么？說(shuō)明了在國(guó)外發(fā)達(dá)國(guó)家贊成這種方式的人很少，知道怎么用這種方式的人就更少了，那么各位可以想像下在中國(guó)能有多少人知道這種方法該怎么做。

在中國(guó)，如果誰(shuí)用這種非主流的野路子做事，別說(shuō)評(píng)專家、教授了，更別說(shuō)什么收入上億了，你估計(jì)不被餓死的機(jī)率有多大。

反正筆者知道一個(gè)家伙，從2000年開(kāi)始，就像美國(guó)那兩個(gè)呆子，用這種“不科學(xué)的蠻力的硬算方法”進(jìn)行語(yǔ)義相關(guān)度分析，做的事與那兩個(gè)呆子搞的翻譯系統(tǒng)異曲同工，都是有關(guān)語(yǔ)言的?？梢哉f(shuō)他在這方面做出了突破性成果，然而他寫(xiě)的成果文檔，博士、專家們看都不看。他現(xiàn)在也就在一家小公司做一份普通IT工作，勉強(qiáng)維持溫飽，曾經(jīng)好長(zhǎng)一段時(shí)間找不到合適工作，差點(diǎn)去洗碗、當(dāng)保安。

也許有人要問(wèn)了，搞語(yǔ)言方面的去搞數(shù)字，這靠譜嗎？用大數(shù)據(jù)的思路，你別管原因，那兩個(gè)復(fù)興科技的呆子已經(jīng)告訴你結(jié)果了。

非要知道原因，也可以跟你說(shuō)說(shuō)：

其實(shí)語(yǔ)言比數(shù)字復(fù)雜太多了，舉個(gè)簡(jiǎn)單的例子吧：1和2，電腦天然就知道它們的關(guān)系，知道哪個(gè)大、哪個(gè)小，以及大多少；但是“人”和“大”，電腦怎么知道這二者有什么關(guān)系，要知道也行，傳統(tǒng)的方法就是進(jìn)行很多人工注解（專業(yè)叫詞性標(biāo)注）。要讓電腦自己通過(guò)數(shù)據(jù)挖掘來(lái)知道文字的意義和相關(guān)性，甚至連基本的詞庫(kù)都不給電腦，而讓它自己去建，那實(shí)在太難了點(diǎn)，簡(jiǎn)直就是匪夷所思，然而那個(gè)家伙做到了。

也就是說(shuō)在大數(shù)據(jù)方面，語(yǔ)言處理與數(shù)字相比，難度絕對(duì)不是一、兩個(gè)數(shù)量級(jí)的差別，因此能做語(yǔ)言的，做數(shù)字就很簡(jiǎn)單了。在有就還是大數(shù)據(jù)的特點(diǎn)，大數(shù)據(jù)是不管你什么樣的數(shù)據(jù)，它就是找出相關(guān)性，所以文字和數(shù)字并沒(méi)有太大區(qū)別。

前段時(shí)間那家伙碰到有人提出一個(gè)行業(yè)趨勢(shì)分析的問(wèn)題，他說(shuō)只用一個(gè)小時(shí)就想出了算法，只要把大量數(shù)據(jù)拿來(lái)就能出結(jié)果，但是在中國(guó)沒(méi)人敢相信他。

好了，有點(diǎn)跑題，不好意思。不過(guò)你現(xiàn)在知道什么是真正的“大數(shù)據(jù)”了吧。首先記得大數(shù)據(jù)是用來(lái)進(jìn)行預(yù)測(cè)的，即直接告訴你未來(lái)的結(jié)果，另外就是牢牢記住7個(gè)字“大數(shù)據(jù)自動(dòng)挖掘”，那就誰(shuí)也忽悠不了你了。