大數(shù)據(jù)時代的思維變革，讓數(shù)據(jù)發(fā)聲_數(shù)據(jù)分析師

導(dǎo)語：本文為維克托-邁爾-舍恩伯格（Viktor Mayer-Sch?nberger）撰寫的《大數(shù)據(jù)時代》一書第二部分摘錄，感興趣的朋友可以保存下來仔細閱讀。

“大數(shù)據(jù)”全在于發(fā)現(xiàn)和理解信息內(nèi)容及信息與信息之間的關(guān)系，然而直到最近，我們對此似乎還是難以把握。IBM的資深“大數(shù)據(jù)”專家杰夫-喬納斯（JeffJonas）提出要讓數(shù)據(jù)“說話”。從某種層面上來說，這聽起來很平常。人們使用數(shù)據(jù)已經(jīng)有相當(dāng)長一段時間了，無論是日常進行的大量非正式觀察，還是過去幾個世紀里在專業(yè)層面上用高級算法進行的量化研究，都與數(shù)據(jù)有關(guān)。

在數(shù)字化時代，數(shù)據(jù)處理變得更加容易、更加快速，人們能夠在瞬間處理成千上萬的數(shù)據(jù)。但當(dāng)我們談?wù)撃堋罢f話”的數(shù)據(jù)時，我們指的遠遠不止這些。

實際上，大數(shù)據(jù)與三個重大的思維轉(zhuǎn)變有關(guān)，這三個轉(zhuǎn)變是相互聯(lián)系和相互作用的。

首先，要分析與某事物相關(guān)的所有數(shù)據(jù)，而不是依靠分析少量的數(shù)據(jù)樣本。

其次，我們樂于接受數(shù)據(jù)的紛繁復(fù)雜，而不再追求精確性。

最后，我們的思想發(fā)生了轉(zhuǎn)變，不再探求難以捉摸的因果關(guān)系，轉(zhuǎn)而關(guān)注事物的相關(guān)關(guān)系。

本章就將介紹第一個轉(zhuǎn)變：利用所有的數(shù)據(jù)，而不再僅僅依靠一小部分數(shù)據(jù)。

很長一段時間以來，準(zhǔn)確分析大量數(shù)據(jù)對我們而言都是一種挑戰(zhàn)。過去，因為記錄、儲存和分析數(shù)據(jù)的工具不夠好，我們只能收集少量數(shù)據(jù)進行分析，這讓我們一度很苦惱。為了讓分析變得簡單，我們會把數(shù)據(jù)量縮減到最少。這是一種無意識的自?。何覀儼雅c數(shù)據(jù)交流的困難看成是自然的，而沒有意識到這只是當(dāng)時技術(shù)條件下的一種人為的限制。如今，技術(shù)條件已經(jīng)有了非常大的提高，雖然人類可以處理的數(shù)據(jù)依然是有限的，也永遠是有限的，但是我們可以處理的數(shù)據(jù)量已經(jīng)大大地增加，而且未來會越來越多。

在某些方面，我們依然沒有完全意識到自己擁有了能夠收集和處理更大規(guī)模數(shù)據(jù)的能力。我們還是在信息匱乏的假設(shè)下做很多事情，建立很多機構(gòu)組織。我們假定自己只能收集到少量信息，結(jié)果就真的如此了。這是一個自我實現(xiàn)的過程。我們甚至發(fā)展了一些使用盡可能少的信息的技術(shù)。別忘了，統(tǒng)計學(xué)的一個目的就是用盡可能少的數(shù)據(jù)來證實盡可能重大的發(fā)現(xiàn)。事實上，我們形成了一種習(xí)慣，那就是在我們的制度、處理過程和激勵機制中盡可能地減少數(shù)據(jù)的使用。為了理解大數(shù)據(jù)時代的轉(zhuǎn)變意味著什么，我們需要首先回顧一下過去。

小數(shù)據(jù)時代的隨機采樣，最少的數(shù)據(jù)獲得最多的信息

直到最近，私人企業(yè)和個人才擁有了大規(guī)模收集和分類數(shù)據(jù)的能力。在過去，這是只有教會或者政府才能做到的。當(dāng)然，在很多國家，教會和政府是等同的。有記載的、最早的計數(shù)發(fā)生在公元前8000年的，當(dāng)時蘇美爾的商人用黏土珠來記錄出售的商品。大規(guī)模的計數(shù)則是政府的事情。數(shù)千年來，政府都試圖通過收集信息來管理國民。

以人口普查為例。據(jù)說古代埃及曾進行過人口普查，《舊約》和《新約》中對此都有所提及。那次由奧古斯都凱撒主導(dǎo)實施的人口普查，提出了“每個人都必須納稅”，這使得約瑟夫和瑪麗搬到了耶穌的出生地伯利恒。1086年的《末日審判書》（TheDoomsdayBook）對當(dāng)時英國的人口、土地和財產(chǎn)做了一個前所未有的全面記載?；始椅瘑T穿越整個國家對每個人、每件事都做了記載，后來這本書用《圣經(jīng)》中的《末日審判書》命名，因為每個人的生活都被赤裸裸地記載下來的過程就像接受“最后的審判”一樣。

然而，人口普查是一項耗資且費時的事情。國王威廉一世（KingWilliamI）在他發(fā)起的《末日審判書》完成之前就去世了。但是，除非放棄收集信息，否則在當(dāng)時沒有其他辦法。盡管如此，當(dāng)時收集的信息也只是一個大概情況，實施人口普查的人也知道他們不可能準(zhǔn)確記錄下每個人的信息。實際上，“人口普查”這個詞來源于拉丁語的“censere”，意思就是推測、估算。

三百多年前，一個名叫約翰-格朗特（JohnGraunt）的英國縫紉用品商提出了一個很有新意的方法。他采用了一個新方法推算出鼠疫時期倫敦的人口數(shù)，這種方法就是后來的統(tǒng)計學(xué)。這個方法不需要一個人一個人地計算。雖然這個方法比較粗糙，但采用這個方法，人們可以利用少量有用的樣本信息來獲取人口的整體情況。

雖然后來證實他能夠得出正確的數(shù)據(jù)僅僅是因為運氣好，但在當(dāng)時他的方法大受歡迎。樣本分析法一直都有較大的漏洞，因此無論是進行人口普查還是其他大數(shù)據(jù)類的任務(wù)，人們還是一直使用具體計數(shù)這種“野蠻”的方法。

考慮到人口普查的復(fù)雜性以及耗時耗費的特點，政府極少進行普查。古羅馬人在人口以萬計數(shù)的時候每5年普查一次。美國憲法規(guī)定每10年進行一次人口普查，因為隨著國家人口越來越多，只能以百萬計數(shù)了。但是到19世紀為止，即使這樣不頻繁的人口普查依然很困難，因為數(shù)據(jù)變化的速度超過了人口普查局統(tǒng)計分析的能力。

穿孔卡片與美國人口普查

美國在1880年進行的人口普查，耗時8年才完成數(shù)據(jù)匯總。因此，他們獲得的很多數(shù)據(jù)都是過時的。1890年進行的人口普查，預(yù)計要花費13年的時間來匯總數(shù)據(jù)。即使不考慮這種情況違反了憲法規(guī)定，它也是很荒謬的。然而，因為稅收分攤和國會代表人數(shù)確定都是建立在人口的基礎(chǔ)上的，所以必須要得到正確的數(shù)據(jù)，而且必須是及時的數(shù)據(jù)。

美國人口普查局面臨的問題與當(dāng)代商人和科學(xué)家遇到的問題很相似。很明顯，當(dāng)他們被數(shù)據(jù)淹沒的時候，已有的數(shù)據(jù)處理工具已經(jīng)難以應(yīng)付了，所以就需要有更多的新技術(shù)。

后來，美國人口普查局就和當(dāng)時的美國發(fā)明家赫爾曼-霍爾瑞斯（HermanHollerith）簽訂了一個協(xié)議，用他的穿孔卡片制表機來完成1890年的人口普查。

經(jīng)過大量的努力，霍爾瑞斯成功地在1年時間內(nèi)完成了人口普查。這簡直就是一個奇跡，它標(biāo)志著自動處理數(shù)據(jù)的開端，也為后來IBM公司的成立奠定了基礎(chǔ)。但是，將其作為收集處理大數(shù)據(jù)的方法依然過于昂貴。畢竟，每個美國人都必須填一張可制成穿孔卡片的表格，然后再進行統(tǒng)計。這么麻煩的情況下，很難想象如果不足十年就要進行一次人口普查應(yīng)該怎么辦。但是，對于一個跨越式發(fā)展的國家而言，十年一次的人口普查的滯后性已經(jīng)讓普查失去了大部分意義。

這就是問題所在，是利用所有的數(shù)據(jù)還是僅僅采用一部分呢？最明智的自然是得到有關(guān)被分析事物的所有數(shù)據(jù)，但是當(dāng)數(shù)量無比龐大時，這又不太現(xiàn)實。那如何選擇樣本呢？有人提出有目的地選擇最具代表性的樣本是最恰當(dāng)?shù)姆椒ā?934年，波蘭統(tǒng)計學(xué)家耶日-奈曼（JerzyNeyman）指出，這只會導(dǎo)致更多更大的漏洞。事實證明，問題的關(guān)鍵是選擇樣本時的隨機性。

統(tǒng)計學(xué)家們證明：采樣分析的精確性隨著采樣隨機性的增加而大幅提高，但與樣本數(shù)量的增加關(guān)系不大。雖然聽起來很不可思議，但事實上，一個對1100人進行的關(guān)于“是否”問題的抽樣調(diào)查有著很高的精確性，精確度甚至超過了對所有人進行調(diào)查時的97%。這是真的，不管是調(diào)查10萬人還是1億人，20次調(diào)查里有19都是這樣。為什么會這樣？原因很復(fù)雜，但是有一個比較簡單的解釋就是，當(dāng)樣本數(shù)量達到了某個值之后，我們從新個體身上得到的信息會越來越少，就如同經(jīng)濟學(xué)中的邊際效應(yīng)遞減一樣。

認為樣本選擇的隨機性比樣本數(shù)量更重要，這種觀點是非常有見地的。這種觀點為我們開辟了一條收集信息的新道路。通過收集隨機樣本，我們可以用較少的花費做出高精準(zhǔn)度的推斷。因此，政府每年都可以用隨機采樣的方法進行小規(guī)模的人口普查，而不是只能每十年進行一次。事實上，政府也這樣做了。例如，除了十年一次的人口大普查，美國人口普查局每年都會用隨機采樣的方法對經(jīng)濟和人口進行200多次小規(guī)模的調(diào)查。當(dāng)收集和分析數(shù)據(jù)都不容易時，隨機采樣就成為應(yīng)對信息過量的辦法。

很快，隨機采樣就不僅應(yīng)用于公共部門和人口普查了。在商業(yè)領(lǐng)域，隨機采樣被用來監(jiān)管商品質(zhì)量。這使得監(jiān)管商品質(zhì)量和提升商品品質(zhì)變得更容易，花費也更少。以前，全面的質(zhì)量監(jiān)管要求對生產(chǎn)出來的每個產(chǎn)品進行檢查，而現(xiàn)在只需從一批商品中隨機抽取部分樣品進行檢查就可以了。本質(zhì)上來說，隨機采樣讓大數(shù)據(jù)問題變得更加切實可行。同理，它將客戶調(diào)查引進了零售行業(yè)，將焦點討論引進了政治界，也將許多人文問題變成了社會科學(xué)問題。

隨機采樣取得了巨大的成功，成為現(xiàn)代社會、現(xiàn)代測量領(lǐng)域的主心骨。但這只是一條捷徑，是在不可收集和分析全部數(shù)據(jù)的情況下的選擇，它本身存在許多固有的缺陷。它的成功依賴于采樣的絕對隨機性，但是實現(xiàn)采樣的隨機性非常困難。一旦采樣過程中存在任何偏見，分析結(jié)果就會相去甚遠。

最近，以固定電話用戶為基礎(chǔ)進行投票民調(diào)就面臨了這樣的問題，采樣缺乏隨機性，因為沒有考慮到只使用移動電話的用戶——這些用戶一般更年輕和更熱愛自由。沒有考慮到這些用戶，自然就得不到正確的預(yù)測。2008年在奧巴馬與麥凱恩之間進行的美國總統(tǒng)大選中，蓋洛普咨詢公司、皮尤研究中心（Pew）、美國廣播公司和華盛頓郵報這些主要的民調(diào)組織都發(fā)現(xiàn)，如果他們不把移動用戶考慮進來，民意測試結(jié)果就會出現(xiàn)三個點的偏差，而一旦考慮進來，偏差就只有一個點。鑒于這次大選的票數(shù)差距極其微弱，這已經(jīng)是非常大的偏差了。

更糟糕的是，隨機采樣不適合考察子類別的情況。因為一旦繼續(xù)細分，隨機采樣結(jié)果的錯誤率會大大增加。這很容易理解。倘若你有一份隨機采樣的調(diào)查結(jié)果，是關(guān)于1000個人在下一次競選中的投票意向。如果采樣時足夠隨機，這份調(diào)查的結(jié)果就有可能在3%的誤差范圍內(nèi)顯示全民的意向。但是如果這個3%左右的誤差本來就是不確定的，卻又把這個調(diào)查結(jié)果根據(jù)性別、地域和收入進行細分，結(jié)果是不是越來越不準(zhǔn)確呢？用這些細分過后的結(jié)果來表現(xiàn)全民的意愿，是否合適呢？

你設(shè)想一下，一個對1000個人進行的調(diào)查，如果要細分到“東北部的富裕女性”，調(diào)查的人數(shù)就遠遠少于1000人了。即使是完全隨機的調(diào)查，倘若只用了幾十個人來預(yù)測整個東北部富裕女性選民的意愿，還是不可能得到精確結(jié)果?。《?，一旦采樣過程中存在任何偏見，在細分領(lǐng)域所做的預(yù)測就會大錯特錯。

因此，當(dāng)人們想了解更深層次的細分領(lǐng)域的情況時，隨機采樣的方法就不可取了。在宏觀領(lǐng)域起作用的方法在微觀領(lǐng)域失去了作用。隨機采樣就像是模擬照片打印，遠看很不錯，但是一旦聚焦某個點，就會變得模糊不清。

隨機采樣也需要嚴密的安排和執(zhí)行。人們只能從采樣數(shù)據(jù)中得出事先設(shè)計好的問題的結(jié)果——千萬不要奢求采樣的數(shù)據(jù)還能回答你突然意識到的問題。所以雖說隨機采樣是一條捷徑，但它也只是一條捷徑。隨機采樣方法并不適用于一切情況，因為這種調(diào)查結(jié)果缺乏延展性，即調(diào)查得出的數(shù)據(jù)不可以重新分析以實現(xiàn)計劃之外的目的。

我們來看一下DNA分析。由于技術(shù)成本大幅下跌以及在醫(yī)學(xué)方面的廣闊前景，個人基因排序成為了一門新興產(chǎn)業(yè)。2012年，基因組解碼的價格跌破1000美元，這也是非正式的行業(yè)平均水平。從2007年起，硅谷的新興科技公司23andme就開始分析人類基因，價格僅為幾百美元。這可以揭示出人類遺傳密碼中一些會導(dǎo)致其對某些疾病抵抗力差的特征，如乳腺癌和心臟病。23andme希望能通過整合顧客的DNA和健康信息，了解到用其他方式不能獲取的新信息。

公司對某人的一小部分DNA進行排序，標(biāo)注出幾十個特定的基因缺陷。這只是該人整個基因密碼的樣本，還有幾十億個基因堿基對未排序。最后，23andme只能回答它們標(biāo)注過的基因組表現(xiàn)出來的問題。發(fā)現(xiàn)新標(biāo)注時，該人的DNA必須重新排序，更準(zhǔn)確地說，是相關(guān)的部分必須重新排列。只研究樣本而不是整體，有利有弊：能更快更容易地發(fā)現(xiàn)問題，但不能回答事先未考慮到的問題。

大數(shù)據(jù)與喬布斯的癌癥治療

蘋果公司的傳奇總裁史蒂夫-喬布斯在與癌癥斗爭的過程中采用了不同的方式，成為世界上第一個對自身所有DNA和腫瘤DNA進行排序的人。為此，他支付了高達幾十萬美元的費用，這是23andme報價的幾百倍之多。所以，他得到的不是一個只有一系列標(biāo)記的樣本，他得到了包括整個基因密碼的數(shù)據(jù)文檔。

對于一個普通的癌癥患者，醫(yī)生只能期望她的DNA排列同試驗中使用的樣本足夠相似。但是，史蒂夫-喬布斯的醫(yī)生們能夠基于喬布斯的特定基因組成，按所需效果用藥。如果癌癥病變導(dǎo)致藥物失效，醫(yī)生可以及時更換另一種藥，也就是喬布斯所說的，“從一片睡蓮葉跳到另一片上?！眴滩妓归_玩笑說：“我要么是第一個通過這種方式戰(zhàn)勝癌癥的人，要么就是最后一個因為這種方式死于癌癥的人。”雖然他的愿望都沒有實現(xiàn)，但是這種獲得所有數(shù)據(jù)而不僅是樣本的方法還是將他的生命延長了好幾年。

全數(shù)據(jù)模式，樣本=總體

在信息處理能力受限的時代，世界需要數(shù)據(jù)分析，卻缺少用來分析所收集數(shù)據(jù)的工具，因此隨機采樣應(yīng)運而生，它也可以被視為那個時代的產(chǎn)物。如今，計算和制表不再像過去一樣困難。感應(yīng)器、手機導(dǎo)航、網(wǎng)站點擊和twitter被動地收集了大量數(shù)據(jù)，而計算機可以輕易地對這些數(shù)據(jù)進行處理。

采樣的目的就是用最少的數(shù)據(jù)得到最多的信息。當(dāng)我們可以獲得海量數(shù)據(jù)的時候，它就沒有什么意義了。數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生了翻天覆地的改變，但我們的方法和思維卻沒有跟上這種改變。

然而，采樣一直有一個被我們廣泛承認卻又總有意避開的缺陷，現(xiàn)在這個缺陷越來越難以忽視了。采樣忽視了細節(jié)考察。雖然我們別無選擇，只能利用采樣分析法來進行考察，但是在很多領(lǐng)域，從收集部分數(shù)據(jù)到收集盡可能多的數(shù)據(jù)的轉(zhuǎn)變已經(jīng)發(fā)生了。如果可能的話，我們會收集所有的數(shù)據(jù)，即“樣本=總體”。

正如我們所看到的，“樣本=總體”是指我們能對數(shù)據(jù)進行深度探討，而采樣幾乎無法達到這樣的效果。上面提到的有關(guān)采樣的例子證明，用采樣的方法分析整個人口的情況，正確率可達97%。對于某些事物來說，3%的錯誤率是可以接受的。但是你無法得到一些微觀細節(jié)的信息，甚至還會失去對某些特定子類別進行進一步研究的能力。正態(tài)分布是標(biāo)準(zhǔn)的。生活中真正有趣的事情經(jīng)常藏匿在細節(jié)之中，而采樣分析法卻無法捕捉到這些細節(jié)。

谷歌流感趨勢預(yù)測并不是依賴于對隨機樣本的分析，而是分析了整個美國幾十億條互聯(lián)網(wǎng)檢索記錄。分析整個數(shù)據(jù)庫，而不是對一個樣本進行分析，能夠提高微觀層面分析的準(zhǔn)確性，甚至能夠推測出某個特定城市的流感狀況，而不只是一個州或是整個國家的情況。Farecast的初始系統(tǒng)使用的樣本包含12000個數(shù)據(jù)，所以取得了不錯的預(yù)測結(jié)果。但是隨著奧倫-埃齊奧尼不斷添加更多的數(shù)據(jù)，預(yù)測的結(jié)果越來越準(zhǔn)確。最終，F(xiàn)arecast使用了每一條航線整整一年的價格數(shù)據(jù)來進行預(yù)測。埃齊奧尼說：“這只是一個暫時性的數(shù)據(jù)，隨著你收集的數(shù)據(jù)越來越多，你的預(yù)測結(jié)果會越來越準(zhǔn)確?！?/span>

所以，我們現(xiàn)在經(jīng)常會放棄樣本分析這條捷徑，選擇收集全面而完整的數(shù)據(jù)。我們需要足夠的數(shù)據(jù)處理和存儲能力，也需要最先進的分析技術(shù)。同時，簡單廉價的數(shù)據(jù)收集方法也很重要。過去，這些問題中的任何一個都很棘手。在一個資源有限的時代，要解決這些問題需要付出很高的代價。但是現(xiàn)在，解決這些難題已經(jīng)變得簡單容易得多。曾經(jīng)只有大公司才能做到的事情，現(xiàn)在絕大部分的公司都可以做到了。

通過使用所有的數(shù)據(jù)，我們可以發(fā)現(xiàn)如若不然則將會在大量數(shù)據(jù)中淹沒掉的情況。例如，信用卡詐騙是通過觀察異常情況來識別的，只有掌握了所有的數(shù)據(jù)才能做到這一點。在這種情況下，異常值是最有用的信息，你可以把它與正常交易情況進行對比。這是一個大數(shù)據(jù)問題。而且，因為交易是即時的，所以你的數(shù)據(jù)分析也應(yīng)該是即時的。