解讀《大數(shù)據(jù)時(shí)代》：復(fù)雜世界的數(shù)據(jù)觀_數(shù)據(jù)分析師

《大數(shù)據(jù)時(shí)代》給出的大數(shù)據(jù)時(shí)代的第二個(gè)特征，是“不是精準(zhǔn)性，而是混雜性”。這是一個(gè)相當(dāng)難以理解的分割方式。雖然看一個(gè)個(gè)的案例，讀者似乎明白了，可是放下書(shū)，卻又疑上心頭：為什么大數(shù)據(jù)時(shí)代不要精準(zhǔn)性？精準(zhǔn)性與混雜性之間有必然的對(duì)立關(guān)系嗎？

　　如果說(shuō)第一個(gè)特征中的“隨機(jī)樣本”和“全體數(shù)據(jù)”(記得實(shí)際是數(shù)據(jù)庫(kù)的概念)的概念我們還能夠從邁爾大叔的敘述中得以澄清，這里的“精準(zhǔn)性”和“混雜性”就要認(rèn)真考證了。

　　何為精準(zhǔn)性？

　　邁爾大叔有關(guān)精準(zhǔn)性的論斷，應(yīng)該是對(duì)小數(shù)據(jù)時(shí)代數(shù)據(jù)匱乏的藐視：你們這幫屌絲，撅著屁股撿鋼镚，俺們土豪100元從來(lái)都不要找零的！小數(shù)據(jù)時(shí)代數(shù)據(jù)少啊，每個(gè)數(shù)據(jù)都當(dāng)個(gè)寶，斤斤計(jì)較數(shù)據(jù)的精度。

　　“執(zhí)迷于精確性是信息缺乏時(shí)代和模擬時(shí)代的產(chǎn)物。在那個(gè)信息貧乏的時(shí)代，任意一個(gè)數(shù)據(jù)點(diǎn)的測(cè)量情況都對(duì)結(jié)果至關(guān)重要。所以，我們需要確保每個(gè)數(shù)據(jù)的精確性，才不會(huì)導(dǎo)致分析結(jié)果的偏差?！?/span>

　　我們來(lái)看看邁爾大叔提供的有關(guān)精準(zhǔn)度的案列，后面討論用得著。

　　1)量子力學(xué)的”測(cè)不準(zhǔn)“原理；(測(cè)不準(zhǔn)即不精準(zhǔn)，可這和大數(shù)據(jù)時(shí)代哪是哪兒呀？)

　　2)橋梁壓力檢測(cè)數(shù)字增加1000倍，錯(cuò)誤率也會(huì)增加；(懷疑“錯(cuò)誤率”是“錯(cuò)誤數(shù)”的表達(dá)錯(cuò)誤。錯(cuò)誤率是錯(cuò)誤的比例嗎？如果錯(cuò)誤率隨著數(shù)據(jù)數(shù)量的增加而增加，那大數(shù)據(jù)還會(huì)準(zhǔn)確嗎？或許我真的被大數(shù)據(jù)時(shí)代OUT了。)

　　3)語(yǔ)音識(shí)別呼叫中心投訴的錯(cuò)誤；(終于能夠理解一個(gè)案例了！)

　　4)葡萄園N個(gè)溫度計(jì)測(cè)量溫度；(這是通過(guò)統(tǒng)計(jì)增強(qiáng)精準(zhǔn)度。)

　　5)Forrester認(rèn)為“有時(shí)得到2加2約等于3.9的結(jié)果，也很不錯(cuò)了。”(沒(méi)有背景資料，不敢妄加判斷。不過(guò)總覺(jué)得心懸懸的，你是否擔(dān)心生活在一個(gè)“2加2可以約等于3.9”的社會(huì)里呢？)

　　6)微軟研究中心尋求改進(jìn)Word程序中語(yǔ)法檢查的方法；(這是利用大數(shù)據(jù)來(lái)改進(jìn)分析的精準(zhǔn)性！)

　　7)BP煉油廠無(wú)線(xiàn)感應(yīng)器網(wǎng)絡(luò)數(shù)據(jù)；(又是一個(gè)大數(shù)據(jù)降低統(tǒng)計(jì)誤差的案例。)

　　8)Facebook上的“4000個(gè)贊”和Gmail“2小時(shí)”計(jì)時(shí)；(神一般的大數(shù)據(jù)及其不精準(zhǔn)性說(shuō)明。)

　　9)Hadoop與Visa的算法。(這是一個(gè)如何犧牲分析結(jié)果的精準(zhǔn)性以縮短所需分析時(shí)間的案例?；氐竭~爾大叔有關(guān)大數(shù)據(jù)時(shí)代的第一個(gè)特征，即使有了全體數(shù)據(jù)，必要時(shí)也要犧牲部分?jǐn)?shù)據(jù)而爭(zhēng)取時(shí)間。)

　　到此，可能能夠理解為什么讀這一小節(jié)這么困難了：邁爾大叔想告訴我們精準(zhǔn)性不重要，可是他舉的例子，卻實(shí)在是有點(diǎn)“曖昧”不清。他究竟是想說(shuō)數(shù)據(jù)的精準(zhǔn)性還是數(shù)據(jù)分析結(jié)果的精準(zhǔn)性呢？

　　何為混雜性？

　　“不是精準(zhǔn)性，而是混雜性”。與混雜性所對(duì)立的精準(zhǔn)性，原來(lái)不是邁爾大叔在描述精準(zhǔn)性時(shí)以“2+2可以約等于3.9”時(shí)告訴我們的那個(gè)數(shù)據(jù)分析結(jié)果的精準(zhǔn)性，而是數(shù)據(jù)的精準(zhǔn)性。

　　“執(zhí)迷于精確性是信息缺乏時(shí)代和模擬時(shí)代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)庫(kù)的。如果不接受混亂，剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無(wú)法被利用，只有接受不精確性，我們才能打開(kāi)一扇從未涉足的世界的窗戶(hù)?！?/span>

　　我們看到，在談到大數(shù)據(jù)時(shí)代的混雜性時(shí)，邁爾大叔基本上都在談?wù)摂?shù)據(jù)的混雜性(而不是數(shù)據(jù)的不精準(zhǔn)性)。我們來(lái)看看混雜性的案例：1)對(duì)IBM稱(chēng)呼的混雜；2)谷歌翻譯語(yǔ)料庫(kù)；3)MIT研究項(xiàng)目；4)Flicker圖片標(biāo)簽；5)新的數(shù)據(jù)庫(kù)設(shè)計(jì)；6)ZestFinance。

　　說(shuō)實(shí)在話(huà)，有關(guān)大數(shù)據(jù)時(shí)代混雜性的問(wèn)題，因?yàn)橛辛饲懊鎸?duì)精準(zhǔn)性的描述，一下子還真是被邁爾大叔給蒙住了，反復(fù)讀了數(shù)遍，才理解。原來(lái)邁爾大叔所說(shuō)的混雜性，是指數(shù)據(jù)格式的不統(tǒng)一。上面6個(gè)案例中，除ZestFinance外，基本上是講數(shù)據(jù)格式的不統(tǒng)一或者數(shù)據(jù)來(lái)源紛雜。這的確是我們這個(gè)時(shí)代數(shù)據(jù)的特征。恭喜邁爾大叔終于說(shuō)對(duì)了！

　　而ZestFinance則是指在數(shù)據(jù)不完整或者數(shù)據(jù)有錯(cuò)誤的情況下如何處理數(shù)據(jù)的問(wèn)題，這和大數(shù)據(jù)似乎沒(méi)有太大的關(guān)系，與數(shù)據(jù)的混雜性也沒(méi)關(guān)系。不過(guò)我們?cè)诖嘶貞浺幌?，似乎除了隨機(jī)樣本問(wèn)題外，邁爾大叔幾乎不談數(shù)據(jù)統(tǒng)計(jì)的技術(shù)細(xì)節(jié)。比如說(shuō)，ZestFinance是如何處理數(shù)據(jù)缺失以及數(shù)據(jù)錯(cuò)誤的呢？我真的很好奇。

　　精準(zhǔn)性與混雜性的辯證

　　一般來(lái)說(shuō)，“不是....。.而是....。.”的語(yǔ)句，應(yīng)該是指同一事物的不同狀態(tài)。比如“不是晴天而是下雨”，或者“不是田埂而是小溪”。如果你來(lái)一句“不是晴天而是小溪”，就顯得難以理解了。

　　就統(tǒng)計(jì)學(xué)角度來(lái)看，數(shù)據(jù)的精準(zhǔn)性是一回事，數(shù)據(jù)的不同格式(混雜性)是另一回事。格式混雜的數(shù)據(jù)，通過(guò)處理或許是能夠精準(zhǔn)的。

　　格式混雜的對(duì)立面是數(shù)據(jù)格式的統(tǒng)一。格式統(tǒng)一的數(shù)據(jù)或許可能也是不精準(zhǔn)的。比如說(shuō)邁爾大叔所列舉的葡萄園測(cè)量溫度以及BP煉油廠的感應(yīng)數(shù)據(jù)。

　　另一方面，就精準(zhǔn)性而言，數(shù)據(jù)的精準(zhǔn)與數(shù)據(jù)分析結(jié)果的精準(zhǔn)也是兩個(gè)不同的概念。比如說(shuō)，“2+2約等于3.9”是數(shù)據(jù)分析結(jié)果的不精準(zhǔn)，而葡萄園溫度測(cè)量和BP煉油廠的無(wú)線(xiàn)感應(yīng)器網(wǎng)絡(luò)數(shù)據(jù)的例子，則是指數(shù)據(jù)不精準(zhǔn)但是因?yàn)閿?shù)據(jù)多而克服了少量數(shù)據(jù)不精準(zhǔn)的缺陷而使數(shù)據(jù)分析結(jié)果比較精準(zhǔn)。

　　數(shù)據(jù)格式的混雜與統(tǒng)一，數(shù)據(jù)的精準(zhǔn)與數(shù)據(jù)分析結(jié)果的精準(zhǔn)，邁爾大叔都胡子眉毛一把抓了。

　　怎么理解大數(shù)據(jù)時(shí)代是十分重要的。大數(shù)據(jù)時(shí)代的特征是“一切皆為數(shù)據(jù)”，那么數(shù)據(jù)來(lái)源的多樣性以及數(shù)據(jù)格式的混雜性確實(shí)成為一個(gè)大數(shù)據(jù)時(shí)代顯著的特征。但是，這個(gè)特征的對(duì)立面，可能更應(yīng)該是數(shù)據(jù)來(lái)源以及數(shù)據(jù)格式的單一性。

　　數(shù)據(jù)的混雜性需要更成熟的分析手段來(lái)分析，分析的結(jié)果也可能不像我們傳統(tǒng)的那樣丁是丁卯是卯。但這些應(yīng)該是數(shù)據(jù)分析師的工作，而不是我們這樣的屌絲們所需掌握的本領(lǐng)。

　　或許，我們可能更應(yīng)該從屌絲的角度來(lái)歸納大數(shù)據(jù)時(shí)代的特征。