大數(shù)據(jù)時(shí)代的思維變革，讓數(shù)據(jù)發(fā)聲_數(shù)據(jù)分析師考試

“大數(shù)據(jù)”全在于發(fā)現(xiàn)和理解信息內(nèi)容及信息與信息之間的關(guān)系，然而直到最近，我們對(duì)此似乎還是難以把握。IBM的資深“大數(shù)據(jù)”專家杰夫-喬納斯（JeffJonas）提出要讓數(shù)據(jù)“說話”。從某種層面上來說，這聽起來很平常。人們使用數(shù)據(jù)已經(jīng)有相當(dāng)長一段時(shí)間了，無論是日常進(jìn)行的大量非正式觀察，還是過去幾個(gè)世紀(jì)里在專業(yè)層面上用高級(jí)算法進(jìn)行的量化研究，都與數(shù)據(jù)有關(guān)。

在數(shù)字化時(shí)代，數(shù)據(jù)處理變得更加容易、更加快速，人們能夠在瞬間處理成千上萬的數(shù)據(jù)。但當(dāng)我們談?wù)撃堋罢f話”的數(shù)據(jù)時(shí)，我們指的遠(yuǎn)遠(yuǎn)不止這些。

實(shí)際上，大數(shù)據(jù)與三個(gè)重大的思維轉(zhuǎn)變有關(guān)，這三個(gè)轉(zhuǎn)變是相互聯(lián)系和相互作用的。

首先，要分析與某事物相關(guān)的所有數(shù)據(jù)，而不是依靠分析少量的數(shù)據(jù)樣本。

其次，我們樂于接受數(shù)據(jù)的紛繁復(fù)雜，而不再追求精確性。

最后，我們的思想發(fā)生了轉(zhuǎn)變，不再探求難以捉摸的因果關(guān)系，轉(zhuǎn)而關(guān)注事物的相關(guān)關(guān)系。

本章就將介紹第一個(gè)轉(zhuǎn)變：利用所有的數(shù)據(jù)，而不再僅僅依靠一小部分?jǐn)?shù)據(jù)。

很長一段時(shí)間以來，準(zhǔn)確分析大量數(shù)據(jù)對(duì)我們而言都是一種挑戰(zhàn)。過去，因?yàn)橛涗?、?chǔ)存和分析數(shù)據(jù)的工具不夠好，我們只能收集少量數(shù)據(jù)進(jìn)行分析，這讓我們一度很苦惱。為了讓分析變得簡單，我們會(huì)把數(shù)據(jù)量縮減到最少。這是一種無意識(shí)的自?。何覀儼雅c數(shù)據(jù)交流的困難看成是自然的，而沒有意識(shí)到這只是當(dāng)時(shí)技術(shù)條件下的一種人為的限制。如今，技術(shù)條件已經(jīng)有了非常大的提高，雖然人類可以處理的數(shù)據(jù)依然是有限的，也永遠(yuǎn)是有限的，但是我們可以處理的數(shù)據(jù)量已經(jīng)大大地增加，而且未來會(huì)越來越多。

在某些方面，我們依然沒有完全意識(shí)到自己擁有了能夠收集和處理更大規(guī)模數(shù)據(jù)的能力。我們還是在信息匱乏的假設(shè)下做很多事情，建立很多機(jī)構(gòu)組織。我們假定自己只能收集到少量信息，結(jié)果就真的如此了。這是一個(gè)自我實(shí)現(xiàn)的過程。我們甚至發(fā)展了一些使用盡可能少的信息的技術(shù)。別忘了，統(tǒng)計(jì)學(xué)的一個(gè)目的就是用盡可能少的數(shù)據(jù)來證實(shí)盡可能重大的發(fā)現(xiàn)。事實(shí)上，我們形成了一種習(xí)慣，那就是在我們的制度、處理過程和激勵(lì)機(jī)制中盡可能地減少數(shù)據(jù)的使用。為了理解大數(shù)據(jù)時(shí)代的轉(zhuǎn)變意味著什么，我們需要首先回顧一下過去。

小數(shù)據(jù)時(shí)代的隨機(jī)采樣，最少的數(shù)據(jù)獲得最多的信息

直到最近，私人企業(yè)和個(gè)人才擁有了大規(guī)模收集和分類數(shù)據(jù)的能力。在過去，這是只有教會(huì)或者政府才能做到的。當(dāng)然，在很多國家，教會(huì)和政府是等同的。有記載的、最早的計(jì)數(shù)發(fā)生在公元前8000年的，當(dāng)時(shí)蘇美爾的商人用黏土珠來記錄出售的商品。大規(guī)模的計(jì)數(shù)則是政府的事情。數(shù)千年來，政府都試圖通過收集信息來管理國民。

以人口普查為例。據(jù)說古代埃及曾進(jìn)行過人口普查，《舊約》和《新約》中對(duì)此都有所提及。那次由奧古斯都凱撒主導(dǎo)實(shí)施的人口普查，提出了“每個(gè)人都必須納稅”，這使得約瑟夫和瑪麗搬到了耶穌的出生地伯利恒。1086年的《末日審判書》（TheDoomsdayBook）對(duì)當(dāng)時(shí)英國的人口、土地和財(cái)產(chǎn)做了一個(gè)前所未有的全面記載。皇家委員穿越整個(gè)國家對(duì)每個(gè)人、每件事都做了記載，后來這本書用《圣經(jīng)》中的《末日審判書》命名，因?yàn)槊總€(gè)人的生活都被赤裸裸地記載下來的過程就像接受“最后的審判”一樣。

然而，人口普查是一項(xiàng)耗資且費(fèi)時(shí)的事情。國王威廉一世（KingWilliamI）在他發(fā)起的《末日審判書》完成之前就去世了。但是，除非放棄收集信息，否則在當(dāng)時(shí)沒有其他辦法。盡管如此，當(dāng)時(shí)收集的信息也只是一個(gè)大概情況，實(shí)施人口普查的人也知道他們不可能準(zhǔn)確記錄下每個(gè)人的信息。實(shí)際上，“人口普查”這個(gè)詞來源于拉丁語的“censere”，意思就是推測(cè)、估算。

三百多年前，一個(gè)名叫約翰-格朗特（JohnGraunt）的英國縫紉用品商提出了一個(gè)很有新意的方法。他采用了一個(gè)新方法推算出鼠疫時(shí)期倫敦的人口數(shù)，這種方法就是后來的統(tǒng)計(jì)學(xué)。這個(gè)方法不需要一個(gè)人一個(gè)人地計(jì)算。雖然這個(gè)方法比較粗糙，但采用這個(gè)方法，人們可以利用少量有用的樣本信息來獲取人口的整體情況。

雖然后來證實(shí)他能夠得出正確的數(shù)據(jù)僅僅是因?yàn)檫\(yùn)氣好，但在當(dāng)時(shí)他的方法大受歡迎。樣本分析法一直都有較大的漏洞，因此無論是進(jìn)行人口普查還是其他大數(shù)據(jù)類的任務(wù)，人們還是一直使用具體計(jì)數(shù)這種“野蠻”的方法。

考慮到人口普查的復(fù)雜性以及耗時(shí)耗費(fèi)的特點(diǎn)，政府極少進(jìn)行普查。古羅馬人在人口以萬計(jì)數(shù)的時(shí)候每5年普查一次。美國憲法規(guī)定每10年進(jìn)行一次人口普查，因?yàn)殡S著國家人口越來越多，只能以百萬計(jì)數(shù)了。但是到19世紀(jì)為止，即使這樣不頻繁的人口普查依然很困難，因?yàn)閿?shù)據(jù)變化的速度超過了人口普查局統(tǒng)計(jì)分析的能力。

穿孔卡片與美國人口普查

美國在1880年進(jìn)行的人口普查，耗時(shí)8年才完成數(shù)據(jù)匯總。因此，他們獲得的很多數(shù)據(jù)都是過時(shí)的。1890年進(jìn)行的人口普查，預(yù)計(jì)要花費(fèi)13年的時(shí)間來匯總數(shù)據(jù)。即使不考慮這種情況違反了憲法規(guī)定，它也是很荒謬的。然而，因?yàn)槎愂辗謹(jǐn)偤蛧鴷?huì)代表人數(shù)確定都是建立在人口的基礎(chǔ)上的，所以必須要得到正確的數(shù)據(jù)，而且必須是及時(shí)的數(shù)據(jù)。

美國人口普查局面臨的問題與當(dāng)代商人和科學(xué)家遇到的問題很相似。很明顯，當(dāng)他們被數(shù)據(jù)淹沒的時(shí)候，已有的數(shù)據(jù)處理工具已經(jīng)難以應(yīng)付了，所以就需要有更多的新技術(shù)。

后來，美國人口普查局就和當(dāng)時(shí)的美國發(fā)明家赫爾曼-霍爾瑞斯（HermanHollerith）簽訂了一個(gè)協(xié)議，用他的穿孔卡片制表機(jī)來完成1890年的人口普查。

經(jīng)過大量的努力，霍爾瑞斯成功地在1年時(shí)間內(nèi)完成了人口普查。這簡直就是一個(gè)奇跡，它標(biāo)志著自動(dòng)處理數(shù)據(jù)的開端，也為后來IBM公司的成立奠定了基礎(chǔ)。但是，將其作為收集處理大數(shù)據(jù)的方法依然過于昂貴。畢竟，每個(gè)美國人都必須填一張可制成穿孔卡片的表格，然后再進(jìn)行統(tǒng)計(jì)。這么麻煩的情況下，很難想象如果不足十年就要進(jìn)行一次人口普查應(yīng)該怎么辦。但是，對(duì)于一個(gè)跨越式發(fā)展的國家而言，十年一次的人口普查的滯后性已經(jīng)讓普查失去了大部分意義。

這就是問題所在，是利用所有的數(shù)據(jù)還是僅僅采用一部分呢？最明智的自然是得到有關(guān)被分析事物的所有數(shù)據(jù)，但是當(dāng)數(shù)量無比龐大時(shí)，這又不太現(xiàn)實(shí)。那如何選擇樣本呢？有人提出有目的地選擇最具代表性的樣本是最恰當(dāng)?shù)姆椒ā?934年，波蘭統(tǒng)計(jì)學(xué)家耶日-奈曼（JerzyNeyman）指出，這只會(huì)導(dǎo)致更多更大的漏洞。事實(shí)證明，問題的關(guān)鍵是選擇樣本時(shí)的隨機(jī)性。

統(tǒng)計(jì)學(xué)家們證明：采樣分析的精確性隨著采樣隨機(jī)性的增加而大幅提高，但與樣本數(shù)量的增加關(guān)系不大。雖然聽起來很不可思議，但事實(shí)上，一個(gè)對(duì)1100人進(jìn)行的關(guān)于“是否”問題的抽樣調(diào)查有著很高的精確性，精確度甚至超過了對(duì)所有人進(jìn)行調(diào)查時(shí)的97%。這是真的，不管是調(diào)查10萬人還是1億人，20次調(diào)查里有19都是這樣。為什么會(huì)這樣？原因很復(fù)雜，但是有一個(gè)比較簡單的解釋就是，當(dāng)樣本數(shù)量達(dá)到了某個(gè)值之后，我們從新個(gè)體身上得到的信息會(huì)越來越少，就如同經(jīng)濟(jì)學(xué)中的邊際效應(yīng)遞減一樣。

認(rèn)為樣本選擇的隨機(jī)性比樣本數(shù)量更重要，這種觀點(diǎn)是非常有見地的。這種觀點(diǎn)為我們開辟了一條收集信息的新道路。通過收集隨機(jī)樣本，我們可以用較少的花費(fèi)做出高精準(zhǔn)度的推斷。因此，政府每年都可以用隨機(jī)采樣的方法進(jìn)行小規(guī)模的人口普查，而不是只能每十年進(jìn)行一次。事實(shí)上，政府也這樣做了。例如，除了十年一次的人口大普查，美國人口普查局每年都會(huì)用隨機(jī)采樣的方法對(duì)經(jīng)濟(jì)和人口進(jìn)行200多次小規(guī)模的調(diào)查。當(dāng)收集和分析數(shù)據(jù)都不容易時(shí)，隨機(jī)采樣就成為應(yīng)對(duì)信息過量的辦法。

很快，隨機(jī)采樣就不僅應(yīng)用于公共部門和人口普查了。在商業(yè)領(lǐng)域，隨機(jī)采樣被用來監(jiān)管商品質(zhì)量。這使得監(jiān)管商品質(zhì)量和提升商品品質(zhì)變得更容易，花費(fèi)也更少。以前，全面的質(zhì)量監(jiān)管要求對(duì)生產(chǎn)出來的每個(gè)產(chǎn)品進(jìn)行檢查，而現(xiàn)在只需從一批商品中隨機(jī)抽取部分樣品進(jìn)行檢查就可以了。本質(zhì)上來說，隨機(jī)采樣讓大數(shù)據(jù)問題變得更加切實(shí)可行。同理，它將客戶調(diào)查引進(jìn)了零售行業(yè)，將焦點(diǎn)討論引進(jìn)了政治界，也將許多人文問題變成了社會(huì)科學(xué)問題。

隨機(jī)采樣取得了巨大的成功，成為現(xiàn)代社會(huì)、現(xiàn)代測(cè)量領(lǐng)域的主心骨。但這只是一條捷徑，是在不可收集和分析全部數(shù)據(jù)的情況下的選擇，它本身存在許多固有的缺陷。它的成功依賴于采樣的絕對(duì)隨機(jī)性，但是實(shí)現(xiàn)采樣的隨機(jī)性非常困難。一旦采樣過程中存在任何偏見，分析結(jié)果就會(huì)相去甚遠(yuǎn)。

最近，以固定電話用戶為基礎(chǔ)進(jìn)行投票民調(diào)就面臨了這樣的問題，采樣缺乏隨機(jī)性，因?yàn)闆]有考慮到只使用移動(dòng)電話的用戶——這些用戶一般更年輕和更熱愛自由。沒有考慮到這些用戶，自然就得不到正確的預(yù)測(cè)。2008年在奧巴馬與麥凱恩之間進(jìn)行的美國總統(tǒng)大選中，蓋洛普咨詢公司、皮尤研究中心（Pew）、美國廣播公司和華盛頓郵報(bào)這些主要的民調(diào)組織都發(fā)現(xiàn)，如果他們不把移動(dòng)用戶考慮進(jìn)來，民意測(cè)試結(jié)果就會(huì)出現(xiàn)三個(gè)點(diǎn)的偏差，而一旦考慮進(jìn)來，偏差就只有一個(gè)點(diǎn)。鑒于這次大選的票數(shù)差距極其微弱，這已經(jīng)是非常大的偏差了。

更糟糕的是，隨機(jī)采樣不適合考察子類別的情況。因?yàn)橐坏├^續(xù)細(xì)分，隨機(jī)采樣結(jié)果的錯(cuò)誤率會(huì)大大增加。這很容易理解。倘若你有一份隨機(jī)采樣的調(diào)查結(jié)果，是關(guān)于1000個(gè)人在下一次競(jìng)選中的投票意向。如果采樣時(shí)足夠隨機(jī)，這份調(diào)查的結(jié)果就有可能在3%的誤差范圍內(nèi)顯示全民的意向。但是如果這個(gè)3%左右的誤差本來就是不確定的，卻又把這個(gè)調(diào)查結(jié)果根據(jù)性別、地域和收入進(jìn)行細(xì)分，結(jié)果是不是越來越不準(zhǔn)確呢？用這些細(xì)分過后的結(jié)果來表現(xiàn)全民的意愿，是否合適呢？

你設(shè)想一下，一個(gè)對(duì)1000個(gè)人進(jìn)行的調(diào)查，如果要細(xì)分到“東北部的富裕女性”，調(diào)查的人數(shù)就遠(yuǎn)遠(yuǎn)少于1000人了。即使是完全隨機(jī)的調(diào)查，倘若只用了幾十個(gè)人來預(yù)測(cè)整個(gè)東北部富裕女性選民的意愿，還是不可能得到精確結(jié)果??！而且，一旦采樣過程中存在任何偏見，在細(xì)分領(lǐng)域所做的預(yù)測(cè)就會(huì)大錯(cuò)特錯(cuò)。

因此，當(dāng)人們想了解更深層次的細(xì)分領(lǐng)域的情況時(shí)，隨機(jī)采樣的方法就不可取了。在宏觀領(lǐng)域起作用的方法在微觀領(lǐng)域失去了作用。隨機(jī)采樣就像是模擬照片打印，遠(yuǎn)看很不錯(cuò)，但是一旦聚焦某個(gè)點(diǎn)，就會(huì)變得模糊不清。

隨機(jī)采樣也需要嚴(yán)密的安排和執(zhí)行。人們只能從采樣數(shù)據(jù)中得出事先設(shè)計(jì)好的問題的結(jié)果——千萬不要奢求采樣的數(shù)據(jù)還能回答你突然意識(shí)到的問題。所以雖說隨機(jī)采樣是一條捷徑，但它也只是一條捷徑。隨機(jī)采樣方法并不適用于一切情況，因?yàn)檫@種調(diào)查結(jié)果缺乏延展性，即調(diào)查得出的數(shù)據(jù)不可以重新分析以實(shí)現(xiàn)計(jì)劃之外的目的。

我們來看一下DNA分析。由于技術(shù)成本大幅下跌以及在醫(yī)學(xué)方面的廣闊前景，個(gè)人基因排序成為了一門新興產(chǎn)業(yè)。2012年，基因組解碼的價(jià)格跌破1000美元，這也是非正式的行業(yè)平均水平。從2007年起，硅谷的新興科技公司23andme就開始分析人類基因，價(jià)格僅為幾百美元。這可以揭示出人類遺傳密碼中一些會(huì)導(dǎo)致其對(duì)某些疾病抵抗力差的特征，如乳腺癌和心臟病。23andme希望能通過整合顧客的DNA和健康信息，了解到用其他方式不能獲取的新信息。

公司對(duì)某人的一小部分DNA進(jìn)行排序，標(biāo)注出幾十個(gè)特定的基因缺陷。這只是該人整個(gè)基因密碼的樣本，還有幾十億個(gè)基因堿基對(duì)未排序。最后，23andme只能回答它們標(biāo)注過的基因組表現(xiàn)出來的問題。發(fā)現(xiàn)新標(biāo)注時(shí)，該人的DNA必須重新排序，更準(zhǔn)確地說，是相關(guān)的部分必須重新排列。只研究樣本而不是整體，有利有弊：能更快更容易地發(fā)現(xiàn)問題，但不能回答事先未考慮到的問題。

大數(shù)據(jù)與喬布斯的癌癥治療

蘋果公司的傳奇總裁史蒂夫-喬布斯在與癌癥斗爭(zhēng)的過程中采用了不同的方式，成為世界上第一個(gè)對(duì)自身所有DNA和腫瘤DNA進(jìn)行排序的人。為此，他支付了高達(dá)幾十萬美元的費(fèi)用，這是23andme報(bào)價(jià)的幾百倍之多。所以，他得到的不是一個(gè)只有一系列標(biāo)記的樣本，他得到了包括整個(gè)基因密碼的數(shù)據(jù)文檔。

對(duì)于一個(gè)普通的癌癥患者，醫(yī)生只能期望她的DNA排列同試驗(yàn)中使用的樣本足夠相似。但是，史蒂夫-喬布斯的醫(yī)生們能夠基于喬布斯的特定基因組成，按所需效果用藥。如果癌癥病變導(dǎo)致藥物失效，醫(yī)生可以及時(shí)更換另一種藥，也就是喬布斯所說的，“從一片睡蓮葉跳到另一片上。”喬布斯開玩笑說：“我要么是第一個(gè)通過這種方式戰(zhàn)勝癌癥的人，要么就是最后一個(gè)因?yàn)檫@種方式死于癌癥的人?！彪m然他的愿望都沒有實(shí)現(xiàn)，但是這種獲得所有數(shù)據(jù)而不僅是樣本的方法還是將他的生命延長了好幾年。

全數(shù)據(jù)模式，樣本=總體

在信息處理能力受限的時(shí)代，世界需要數(shù)據(jù)分析，卻缺少用來分析所收集數(shù)據(jù)的工具，因此隨機(jī)采樣應(yīng)運(yùn)而生，它也可以被視為那個(gè)時(shí)代的產(chǎn)物。如今，計(jì)算和制表不再像過去一樣困難。感應(yīng)器、手機(jī)導(dǎo)航、網(wǎng)站點(diǎn)擊和twitter被動(dòng)地收集了大量數(shù)據(jù)，而計(jì)算機(jī)可以輕易地對(duì)這些數(shù)據(jù)進(jìn)行處理。

采樣的目的就是用最少的數(shù)據(jù)得到最多的信息。當(dāng)我們可以獲得海量數(shù)據(jù)的時(shí)候，它就沒有什么意義了。數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生了翻天覆地的改變，但我們的方法和思維卻沒有跟上這種改變。

然而，采樣一直有一個(gè)被我們廣泛承認(rèn)卻又總有意避開的缺陷，現(xiàn)在這個(gè)缺陷越來越難以忽視了。采樣忽視了細(xì)節(jié)考察。雖然我們別無選擇，只能利用采樣分析法來進(jìn)行考察，但是在很多領(lǐng)域，從收集部分?jǐn)?shù)據(jù)到收集盡可能多的數(shù)據(jù)的轉(zhuǎn)變已經(jīng)發(fā)生了。如果可能的話，我們會(huì)收集所有的數(shù)據(jù)，即“樣本=總體”。

正如我們所看到的，“樣本=總體”是指我們能對(duì)數(shù)據(jù)進(jìn)行深度探討，而采樣幾乎無法達(dá)到這樣的效果。上面提到的有關(guān)采樣的例子證明，用采樣的方法分析整個(gè)人口的情況，正確率可達(dá)97%。對(duì)于某些事物來說，3%的錯(cuò)誤率是可以接受的。但是你無法得到一些微觀細(xì)節(jié)的信息，甚至還會(huì)失去對(duì)某些特定子類別進(jìn)行進(jìn)一步研究的能力。正態(tài)分布是標(biāo)準(zhǔn)的。生活中真正有趣的事情經(jīng)常藏匿在細(xì)節(jié)之中，而采樣分析法卻無法捕捉到這些細(xì)節(jié)。

谷歌流感趨勢(shì)預(yù)測(cè)并不是依賴于對(duì)隨機(jī)樣本的分析，而是分析了整個(gè)美國幾十億條互聯(lián)網(wǎng)檢索記錄。分析整個(gè)數(shù)據(jù)庫，而不是對(duì)一個(gè)樣本進(jìn)行分析，能夠提高微觀層面分析的準(zhǔn)確性，甚至能夠推測(cè)出某個(gè)特定城市的流感狀況，而不只是一個(gè)州或是整個(gè)國家的情況。Farecast的初始系統(tǒng)使用的樣本包含12000個(gè)數(shù)據(jù)，所以取得了不錯(cuò)的預(yù)測(cè)結(jié)果。但是隨著奧倫-埃齊奧尼不斷添加更多的數(shù)據(jù)，預(yù)測(cè)的結(jié)果越來越準(zhǔn)確。最終，F(xiàn)arecast使用了每一條航線整整一年的價(jià)格數(shù)據(jù)來進(jìn)行預(yù)測(cè)。埃齊奧尼說：“這只是一個(gè)暫時(shí)性的數(shù)據(jù)，隨著你收集的數(shù)據(jù)越來越多，你的預(yù)測(cè)結(jié)果會(huì)越來越準(zhǔn)確?！?/span>

所以，我們現(xiàn)在經(jīng)常會(huì)放棄樣本分析這條捷徑，選擇收集全面而完整的數(shù)據(jù)。我們需要足夠的數(shù)據(jù)處理和存儲(chǔ)能力，也需要最先進(jìn)的分析技術(shù)。同時(shí)，簡單廉價(jià)的數(shù)據(jù)收集方法也很重要。過去，這些問題中的任何一個(gè)都很棘手。在一個(gè)資源有限的時(shí)代，要解決這些問題需要付出很高的代價(jià)。但是現(xiàn)在，解決這些難題已經(jīng)變得簡單容易得多。曾經(jīng)只有大公司才能做到的事情，現(xiàn)在絕大部分的公司都可以做到了。

通過使用所有的數(shù)據(jù)，我們可以發(fā)現(xiàn)如若不然則將會(huì)在大量數(shù)據(jù)中淹沒掉的情況。例如，信用卡詐騙是通過觀察異常情況來識(shí)別的，只有掌握了所有的數(shù)據(jù)才能做到這一點(diǎn)。在這種情況下，異常值是最有用的信息，你可以把它與正常交易情況進(jìn)行對(duì)比。這是一個(gè)大數(shù)據(jù)問題。而且，因?yàn)榻灰资羌磿r(shí)的，所以你的數(shù)據(jù)分析也應(yīng)該是即時(shí)的。