解讀《大數(shù)據(jù)時代》：復雜世界的數(shù)據(jù)觀_數(shù)據(jù)分析師

《大數(shù)據(jù)時代》給出的大數(shù)據(jù)時代的第二個特征，是“不是精準性，而是混雜性”。這是一個相當難以理解的分割方式。雖然看一個個的案例，讀者似乎明白了，可是放下書，卻又疑上心頭：為什么大數(shù)據(jù)時代不要精準性？精準性與混雜性之間有必然的對立關系嗎？

　　如果說第一個特征中的“隨機樣本”和“全體數(shù)據(jù)”(記得實際是數(shù)據(jù)庫的概念)的概念我們還能夠從邁爾大叔的敘述中得以澄清，這里的“精準性”和“混雜性”就要認真考證了。

　　何為精準性？

　　邁爾大叔有關精準性的論斷，應該是對小數(shù)據(jù)時代數(shù)據(jù)匱乏的藐視：你們這幫屌絲，撅著屁股撿鋼镚，俺們土豪100元從來都不要找零的！小數(shù)據(jù)時代數(shù)據(jù)少啊，每個數(shù)據(jù)都當個寶，斤斤計較數(shù)據(jù)的精度。

　　“執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。在那個信息貧乏的時代，任意一個數(shù)據(jù)點的測量情況都對結(jié)果至關重要。所以，我們需要確保每個數(shù)據(jù)的精確性，才不會導致分析結(jié)果的偏差。”

　　我們來看看邁爾大叔提供的有關精準度的案列，后面討論用得著。

　　1)量子力學的”測不準“原理；(測不準即不精準，可這和大數(shù)據(jù)時代哪是哪兒呀？)

　　2)橋梁壓力檢測數(shù)字增加1000倍，錯誤率也會增加；(懷疑“錯誤率”是“錯誤數(shù)”的表達錯誤。錯誤率是錯誤的比例嗎？如果錯誤率隨著數(shù)據(jù)數(shù)量的增加而增加，那大數(shù)據(jù)還會準確嗎？或許我真的被大數(shù)據(jù)時代OUT了。)

　　3)語音識別呼叫中心投訴的錯誤；(終于能夠理解一個案例了！)

　　4)葡萄園N個溫度計測量溫度；(這是通過統(tǒng)計增強精準度。)

　　5)Forrester認為“有時得到2加2約等于3.9的結(jié)果，也很不錯了。”(沒有背景資料，不敢妄加判斷。不過總覺得心懸懸的，你是否擔心生活在一個“2加2可以約等于3.9”的社會里呢？)

　　6)微軟研究中心尋求改進Word程序中語法檢查的方法；(這是利用大數(shù)據(jù)來改進分析的精準性！)

　　7)BP煉油廠無線感應器網(wǎng)絡數(shù)據(jù)；(又是一個大數(shù)據(jù)降低統(tǒng)計誤差的案例。)

　　8)Facebook上的“4000個贊”和Gmail“2小時”計時；(神一般的大數(shù)據(jù)及其不精準性說明。)

　　9)Hadoop與Visa的算法。(這是一個如何犧牲分析結(jié)果的精準性以縮短所需分析時間的案例?；氐竭~爾大叔有關大數(shù)據(jù)時代的第一個特征，即使有了全體數(shù)據(jù)，必要時也要犧牲部分數(shù)據(jù)而爭取時間。)

　　到此，可能能夠理解為什么讀這一小節(jié)這么困難了：邁爾大叔想告訴我們精準性不重要，可是他舉的例子，卻實在是有點“曖昧”不清。他究竟是想說數(shù)據(jù)的精準性還是數(shù)據(jù)分析結(jié)果的精準性呢？

　　何為混雜性？

　　“不是精準性，而是混雜性”。與混雜性所對立的精準性，原來不是邁爾大叔在描述精準性時以“2+2可以約等于3.9”時告訴我們的那個數(shù)據(jù)分析結(jié)果的精準性，而是數(shù)據(jù)的精準性。

　　“執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構化且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下95%的非結(jié)構化數(shù)據(jù)都無法被利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶?！?/span>

　　我們看到，在談到大數(shù)據(jù)時代的混雜性時，邁爾大叔基本上都在談論數(shù)據(jù)的混雜性(而不是數(shù)據(jù)的不精準性)。我們來看看混雜性的案例：1)對IBM稱呼的混雜；2)谷歌翻譯語料庫；3)MIT研究項目；4)Flicker圖片標簽；5)新的數(shù)據(jù)庫設計；6)ZestFinance。

　　說實在話，有關大數(shù)據(jù)時代混雜性的問題，因為有了前面對精準性的描述，一下子還真是被邁爾大叔給蒙住了，反復讀了數(shù)遍，才理解。原來邁爾大叔所說的混雜性，是指數(shù)據(jù)格式的不統(tǒng)一。上面6個案例中，除ZestFinance外，基本上是講數(shù)據(jù)格式的不統(tǒng)一或者數(shù)據(jù)來源紛雜。這的確是我們這個時代數(shù)據(jù)的特征。恭喜邁爾大叔終于說對了！

　　而ZestFinance則是指在數(shù)據(jù)不完整或者數(shù)據(jù)有錯誤的情況下如何處理數(shù)據(jù)的問題，這和大數(shù)據(jù)似乎沒有太大的關系，與數(shù)據(jù)的混雜性也沒關系。不過我們在此回憶一下，似乎除了隨機樣本問題外，邁爾大叔幾乎不談數(shù)據(jù)統(tǒng)計的技術細節(jié)。比如說，ZestFinance是如何處理數(shù)據(jù)缺失以及數(shù)據(jù)錯誤的呢？我真的很好奇。

　　精準性與混雜性的辯證

　　一般來說，“不是....。.而是....。.”的語句，應該是指同一事物的不同狀態(tài)。比如“不是晴天而是下雨”，或者“不是田埂而是小溪”。如果你來一句“不是晴天而是小溪”，就顯得難以理解了。

　　就統(tǒng)計學角度來看，數(shù)據(jù)的精準性是一回事，數(shù)據(jù)的不同格式(混雜性)是另一回事。格式混雜的數(shù)據(jù)，通過處理或許是能夠精準的。

　　格式混雜的對立面是數(shù)據(jù)格式的統(tǒng)一。格式統(tǒng)一的數(shù)據(jù)或許可能也是不精準的。比如說邁爾大叔所列舉的葡萄園測量溫度以及BP煉油廠的感應數(shù)據(jù)。

　　另一方面，就精準性而言，數(shù)據(jù)的精準與數(shù)據(jù)分析結(jié)果的精準也是兩個不同的概念。比如說，“2+2約等于3.9”是數(shù)據(jù)分析結(jié)果的不精準，而葡萄園溫度測量和BP煉油廠的無線感應器網(wǎng)絡數(shù)據(jù)的例子，則是指數(shù)據(jù)不精準但是因為數(shù)據(jù)多而克服了少量數(shù)據(jù)不精準的缺陷而使數(shù)據(jù)分析結(jié)果比較精準。

　　數(shù)據(jù)格式的混雜與統(tǒng)一，數(shù)據(jù)的精準與數(shù)據(jù)分析結(jié)果的精準，邁爾大叔都胡子眉毛一把抓了。

　　怎么理解大數(shù)據(jù)時代是十分重要的。大數(shù)據(jù)時代的特征是“一切皆為數(shù)據(jù)”，那么數(shù)據(jù)來源的多樣性以及數(shù)據(jù)格式的混雜性確實成為一個大數(shù)據(jù)時代顯著的特征。但是，這個特征的對立面，可能更應該是數(shù)據(jù)來源以及數(shù)據(jù)格式的單一性。

　　數(shù)據(jù)的混雜性需要更成熟的分析手段來分析，分析的結(jié)果也可能不像我們傳統(tǒng)的那樣丁是丁卯是卯。但這些應該是數(shù)據(jù)分析師的工作，而不是我們這樣的屌絲們所需掌握的本領。

　　或許，我們可能更應該從屌絲的角度來歸納大數(shù)據(jù)時代的特征。