rosebt：小數(shù)據(jù)很美麗-CDA數(shù)據(jù)分析師

市場(chǎng)營銷技術(shù)將“大數(shù)據(jù)”鼓吹的天花亂墜，反而忽略了這樣一個(gè)事實(shí)：更易操作的，更有價(jià)值的見解更有可能在小數(shù)據(jù)而不是大數(shù)據(jù)中被找到。有很多理由支持這一點(diǎn)，但主要的理由是大數(shù)據(jù)的“詛咒”?！按髷?shù)據(jù)”意味著和小數(shù)據(jù)集有著不同性質(zhì)的龐大數(shù)據(jù)集，需要特別的數(shù)據(jù)科學(xué)方法來區(qū)分信號(hào)和噪音，并提取出有意義的信息，這需要特別的計(jì)算系統(tǒng)和計(jì)算能力。

Vincent Granville這樣定義大數(shù)據(jù)的詛咒。簡單來說，你會(huì)在大數(shù)據(jù)集中發(fā)現(xiàn)更多“統(tǒng)計(jì)上顯著”的關(guān)系?！敖y(tǒng)計(jì)上顯著”是一個(gè)統(tǒng)計(jì)檢驗(yàn)，檢驗(yàn)觀測(cè)值是否具有某個(gè)不僅僅是巧合的規(guī)律，這個(gè)規(guī)律可能有也可能沒有意義。數(shù)據(jù)集越大，越多的“統(tǒng)計(jì)上顯著”的關(guān)系將會(huì)無意義—這將大大提高人們把噪音誤解為信號(hào)的可能性?！靶盘?hào)”意味著根據(jù)科學(xué)對(duì)數(shù)據(jù)有意義的解讀，并可能轉(zhuǎn)化成科學(xué)證據(jù)和知識(shí)?！霸胍簟币馕吨鴮?duì)數(shù)據(jù)無科學(xué)依據(jù)的解讀，不會(huì)被認(rèn)作是科學(xué)證據(jù)。但噪音可能被操縱成為某種形式的知識(shí)（事實(shí)上是無稽之談）。

所以大數(shù)據(jù)在數(shù)據(jù)中會(huì)產(chǎn)生更多關(guān)聯(lián)和規(guī)律—然而也產(chǎn)生比信號(hào)更多的噪音。統(tǒng)計(jì)第二類錯(cuò)誤（存?zhèn)危┑臄?shù)量大大增加。換句話說，更多非因果關(guān)系的相互關(guān)系導(dǎo)致了對(duì)真相的幻覺。

“相互關(guān)系”意味著一系列廣義的統(tǒng)計(jì)聯(lián)系?！疤摷俚南嗷リP(guān)系”意味著不是由于兩變量間的直接關(guān)系，而是其他變量對(duì)其影響而產(chǎn)生的關(guān)系?！耙蚬P(guān)系”意味著有科學(xué)證據(jù)支持的原因和結(jié)果之間的關(guān)系（比如一個(gè)事件（原因）和另一個(gè)事件（結(jié)果）的關(guān)系，第二個(gè)事件被認(rèn)為是第一個(gè)事件的結(jié)果）?！跋嗷リP(guān)系并不能推斷出因果關(guān)系”是科學(xué)界和統(tǒng)計(jì)學(xué)界的一個(gè)術(shù)語，來強(qiáng)調(diào)兩變量之間有相互關(guān)系并不一定能推斷出一個(gè)導(dǎo)致了另一個(gè)。

但人們天生就擅長看到規(guī)律。這對(duì)人類在叢林里生存是必要的素質(zhì)，但卻損害了我們很多形式的抽象思維—特別是誤將數(shù)據(jù)中的隨機(jī)性理解為有意義。換句話說，將噪音誤解為信號(hào)。

大數(shù)據(jù)使我們難以在大堆數(shù)據(jù)中發(fā)現(xiàn)有操作性的、有價(jià)值的見解。它的危險(xiǎn)是，我們將越來越多的錯(cuò)將數(shù)據(jù)中的隨機(jī)性當(dāng)作信號(hào)，從而做出錯(cuò)誤的決策。

我有一個(gè)策略來解決“大數(shù)據(jù)的詛咒”這一問題—在很多情形下（但不是所有），有意的將大數(shù)據(jù)集分解為若干小數(shù)據(jù)集。將大數(shù)據(jù)集分解為小數(shù)據(jù)集應(yīng)該有技巧的進(jìn)行，而不是隨意而為。分析和測(cè)試小數(shù)據(jù)集來區(qū)分信號(hào)和噪音并提取意義要比直接分析大數(shù)據(jù)容易得多。

時(shí)刻注意大數(shù)據(jù)的詛咒，避免錯(cuò)將噪音當(dāng)成信號(hào)。小數(shù)據(jù)實(shí)際上也很美麗。