大數(shù)據(jù)，開啟重大的時(shí)代轉(zhuǎn)型_數(shù)據(jù)分析師

大數(shù)據(jù)開啟了一次重大的時(shí)代轉(zhuǎn)型。與其他新技術(shù)一樣，大數(shù)據(jù)也必然要經(jīng)歷硅谷臭名昭著的技術(shù)成熟度曲線：經(jīng)過新聞媒體和學(xué)術(shù)會(huì)議的大肆宣傳之后，新技術(shù)趨勢(shì)一下子跌到谷底，許多數(shù)據(jù)創(chuàng)業(yè)公司變得岌岌可危。當(dāng)然，不管是過熱期還是幻想破滅期，都非常不利于我們正確理解正在發(fā)生的變革的重要性。

就像望遠(yuǎn)鏡能夠讓我們感受宇宙，顯微鏡能夠讓我們觀測(cè)微生物，這種能夠收集和分析海量數(shù)據(jù)的新技術(shù)將幫助我們更好地理解世界——這種理解世界的新方法我們現(xiàn)在才意識(shí)到。本書旨在如實(shí)表達(dá)出大數(shù)據(jù)的內(nèi)涵，而不會(huì)過分熱捧它。當(dāng)然，真正的革命并不在于分析數(shù)據(jù)的機(jī)器，而在于數(shù)據(jù)本身和我們?nèi)绾芜\(yùn)用數(shù)據(jù)。

大數(shù)據(jù)先鋒

天文學(xué)，信息爆炸的起源

只有考慮到社會(huì)各個(gè)方面的變化趨勢(shì)，我們才能真正意識(shí)到信息爆炸已經(jīng)到來。我們的數(shù)字世界一直在擴(kuò)張。以天文學(xué)為例，2000年斯隆數(shù)字巡天（Sloan Digital Sky Survey）項(xiàng)目啟動(dòng)的時(shí)候，位于新墨西哥州的望遠(yuǎn)鏡在短短幾周內(nèi)收集到的數(shù)據(jù)，已經(jīng)比天文學(xué)歷史上總共收集的數(shù)據(jù)還要多。到了2010年，信息檔案已經(jīng)高達(dá)1.4×242字節(jié)。不過，預(yù)計(jì)2016年在智利投入使用的大型視場(chǎng)全景巡天望遠(yuǎn)鏡（Large Synoptic Survey Telescope）能在五天之內(nèi)就獲得同樣多的信息。天文學(xué)領(lǐng)域的變化在各個(gè)領(lǐng)域都在發(fā)生。2003年，人類第一次破譯人體基因密碼的時(shí)候，辛苦工作了十年才完成了三十億對(duì)堿基對(duì)的排序。大約十年之后，世界范圍內(nèi)的基因儀每15分鐘就可以完成同樣的工作。在金融領(lǐng)域，美國(guó)股市每天的成交量高達(dá)70億股。而其中三分之二的交易都是由建立在算法公式上的計(jì)算機(jī)程序完成的。這些程序運(yùn)用海量數(shù)據(jù)來預(yù)測(cè)利益和降低風(fēng)險(xiǎn)。

互聯(lián)網(wǎng)公司更是要被數(shù)據(jù)淹沒了。谷歌公司每天要處理超過24拍字節(jié)的數(shù)據(jù)，這意味著其每天的數(shù)據(jù)處理量是美國(guó)國(guó)家圖書館所有紙質(zhì)出版物所含數(shù)據(jù)量的上千倍。facebook這個(gè)創(chuàng)立時(shí)間不足十年的公司，每天更新的照片量超過1 000萬張，每天人們?cè)诰W(wǎng)站上點(diǎn)擊 “喜歡”（Like）按鈕或者寫評(píng)論次數(shù)大約有三十億次，這就為facebook公司挖掘用戶喜好提供了大量的數(shù)據(jù)線索。與此同時(shí)，谷歌子公司YouTube每月接待多達(dá)8億的訪客，平均每一秒鐘就會(huì)有一段長(zhǎng)度在一小時(shí)以上的視頻上傳。twitter上的信息量幾乎每年翻一倍，截至2012年，每天都會(huì)發(fā)布超過4億條微博。

從科學(xué)研究到醫(yī)療保險(xiǎn)，從銀行業(yè)到互聯(lián)網(wǎng)，各個(gè)不同的領(lǐng)域都在講述著一個(gè)類似的故事，那就是爆發(fā)式增長(zhǎng)的數(shù)據(jù)量。這種增長(zhǎng)超過了我們創(chuàng)造機(jī)器的速度，甚至超過了我們的想象。

我們周圍到底有多少數(shù)據(jù)？增長(zhǎng)的速度有多快？許多人試圖測(cè)量出一個(gè)確切的數(shù)字。盡管測(cè)量的對(duì)象和方法有所不同，但他們都獲得了不同程度的成功。南加利福尼亞大學(xué)安嫩伯格通信學(xué)院的馬丁·希爾伯特（Martin Hilbert）進(jìn)行了一個(gè)比較全面的研究，他試圖得出人類所創(chuàng)造、存儲(chǔ)和傳播的一切信息的確切數(shù)目。他的研究范圍不僅包括書籍、圖畫、電子郵件、照片、音樂、視頻（模擬和數(shù)字），還包括電子游戲、電話、汽車導(dǎo)航和信件。馬丁·希爾伯特還以收視率和收聽率為基礎(chǔ)，對(duì)電視、電臺(tái)這些廣播媒體進(jìn)行了研究。

大數(shù)據(jù)的力量

據(jù)他估算，2007年，人類大約存儲(chǔ)了超過300艾字節(jié)的數(shù)據(jù)。下面這個(gè)比喻應(yīng)該可以幫助人們更容易地理解這意味著什么了。一部完整的數(shù)字電影可以壓縮成一個(gè)GB的文件，而一個(gè)艾字節(jié)相當(dāng)于10億GB，一個(gè)澤字節(jié)則相當(dāng)于1 024艾字節(jié)?？傊@是一個(gè)非常龐大的數(shù)量。

有趣的是，在2007年，只有7%是存儲(chǔ)在報(bào)紙、書籍、圖片等媒介上的模擬數(shù)據(jù)，其余全部是數(shù)字?jǐn)?shù)據(jù)。但在不久之前，情況卻完全不是這樣的。雖然1960年就有了“信息時(shí)代”和“數(shù)字村鎮(zhèn)”的概念，但實(shí)際上，這些概念仍然是相當(dāng)新穎的。甚至在2000年的時(shí)候，數(shù)字存儲(chǔ)信息仍只占全球數(shù)據(jù)量的四分之一；當(dāng)時(shí)，另外四分之三的信息都存儲(chǔ)在報(bào)紙、膠片、黑膠唱片和盒式磁帶這類媒介上。

早期數(shù)字信息的數(shù)量是不多的。對(duì)于長(zhǎng)期在網(wǎng)上沖浪和購(gòu)書的人來說，那只是一個(gè)微小的部分。事實(shí)上，在1986年的時(shí)候，世界上約40%的計(jì)算機(jī)技術(shù)都被運(yùn)用在便攜計(jì)算機(jī)上，那時(shí)候，所有個(gè)人電腦的處理能力之和都沒有便攜計(jì)算機(jī)高。但是因?yàn)閿?shù)字?jǐn)?shù)據(jù)的快速增長(zhǎng)，整個(gè)局勢(shì)很快就顛倒過來了。按照希爾伯特的說法，數(shù)字?jǐn)?shù)據(jù)的數(shù)量每三年多就會(huì)翻一倍。相反，模擬數(shù)據(jù)的數(shù)量則基本上沒有增加。

大數(shù)據(jù)的力量

到2013年，世界上存儲(chǔ)的數(shù)據(jù)預(yù)計(jì)能達(dá)到約1.2澤字節(jié)，其中非數(shù)字?jǐn)?shù)據(jù)只占不到2%。

這樣大的數(shù)據(jù)量意味著什么？如果把這些數(shù)據(jù)全部記在書中，這些書可以覆蓋整個(gè)美國(guó)52次。如果將之存儲(chǔ)在只讀光盤上，這些光盤可以堆成五堆，每一堆都可以伸到月球。公元前3世紀(jì)，埃及的托勒密二世竭力收集了當(dāng)時(shí)所有的書寫作品，所以偉大的亞歷山大圖書館可以代表世界上所有的知識(shí)量。但當(dāng)數(shù)字?jǐn)?shù)據(jù)洪流席卷世界之后，每個(gè)地球人都可以獲得大量數(shù)據(jù)信息，相當(dāng)于當(dāng)時(shí)亞歷山大圖書館存儲(chǔ)的數(shù)據(jù)總量的320倍之多。

事情真的在快速發(fā)展。人類存儲(chǔ)信息量的增長(zhǎng)速度比世界經(jīng)濟(jì)的增長(zhǎng)速度快4倍，而計(jì)算機(jī)數(shù)據(jù)處理能力的增長(zhǎng)速度則比世界經(jīng)濟(jì)的增長(zhǎng)速度快9倍。難怪人們會(huì)抱怨信息過量，因?yàn)槊總€(gè)人都受到了這種極速發(fā)展的沖擊。把眼光放遠(yuǎn)一點(diǎn)，我們可以把時(shí)下的信息洪流與1439年前后古登堡發(fā)明印刷機(jī)時(shí)造成的信息爆炸相對(duì)比。歷史學(xué)家伊麗莎白·愛森斯坦（Elizabeth Eisenstein）發(fā)現(xiàn)，1453—1503年，這50年之間大約有800萬本書籍被印刷，比1 200年之前君士坦丁堡建立以來整個(gè)歐洲所有的手抄書還要多。換言之，歐洲的信息存儲(chǔ)量花了50年才增長(zhǎng)了一倍（當(dāng)時(shí)的歐洲還占據(jù)了世界上大部分的信息存儲(chǔ)份額），而如今大約每三年就能增長(zhǎng)一倍。

這種增長(zhǎng)意味著什么呢？彼特·諾維格（Peter Norvig）是谷歌的人工智能專家，也曾任職于美國(guó)宇航局噴氣推進(jìn)實(shí)驗(yàn)室，他喜歡把這種增長(zhǎng)與圖畫進(jìn)行類比。首先，他要我們想想來自法國(guó)拉斯科洞穴壁畫上的標(biāo)志性的馬。這些畫可以追溯到一萬七千年之前的舊石器時(shí)代。然后，再想想一張馬的照片，想想畢加索的畫也可以，看起來和那些洞穴壁畫沒有多大的差別。事實(shí)上，畢加索看到那些洞穴壁畫的時(shí)候就曾開玩笑說：“自那以后，我們就再也沒有創(chuàng)造出什么東西了?！?/span>

他的話既正確又不完全正確。你回想一下壁畫上的那匹馬。當(dāng)時(shí)要畫一幅馬的畫需要花費(fèi)很久的時(shí)間，而現(xiàn)在不需要那么久了。這就是一種改變，雖然改變的可能不是最核心的部分——畢竟這仍然是一幅馬的圖像。但是諾維格說，想象一下，現(xiàn)在我們能每秒鐘播放 24幅不同形態(tài)的馬的圖片，這就是一種由量變導(dǎo)致的質(zhì)變：一部電影與一幅靜態(tài)的畫有本質(zhì)上的區(qū)別！大數(shù)據(jù)也一樣，量變導(dǎo)致質(zhì)變。物理學(xué)和生物學(xué)都告訴我們，當(dāng)我們改變規(guī)模時(shí)，事物的狀態(tài)有時(shí)也會(huì)發(fā)生改變。

我們就以納米技術(shù)來為例。納米技術(shù)就是讓一切變小而不是變大。其原理就是當(dāng)事物到達(dá)分子的級(jí)別時(shí)，它的物理性質(zhì)就會(huì)發(fā)生改變。一旦你知道這些新的性質(zhì)，你就可以用同樣的原料來做以前無法做的事情。銅本來是用來導(dǎo)電的物質(zhì)，但它一旦到達(dá)納米級(jí)別就不能在磁場(chǎng)中導(dǎo)電了。銀離子具有抗菌性，但當(dāng)它以分子形式存在的時(shí)候，這種性質(zhì)會(huì)消失。一旦到達(dá)納米級(jí)別，金屬可以變得柔軟，陶土可以具有彈性。同樣，當(dāng)我們?cè)黾铀玫臄?shù)據(jù)量時(shí)，我們就可以做很多在小數(shù)據(jù)量的基礎(chǔ)上無法完成的事情。

有時(shí)候，我們認(rèn)為約束我們生活的那些限制，對(duì)于世間萬物都有著同樣的約束力。事實(shí)上，盡管規(guī)律相同，但是我們能夠感受到的約束，很可能只對(duì)我們這樣尺度的事物起作用。對(duì)于人類來說，唯一一個(gè)最重要的物理定律便是萬有引力定律。這個(gè)定律無時(shí)無刻不在控制著我們。但對(duì)于細(xì)小的昆蟲來說，重力是無關(guān)緊要的。 ①對(duì)它們而言，物理宇宙中有效的約束是地表張力，這個(gè)張力可以讓它們?cè)谒献杂尚凶叨粫?huì)掉下去。但人類對(duì)于地表張力毫不在意。

對(duì)于萬有引力產(chǎn)生的約束效果而言，生物體的大小是非常重要的。類似地，對(duì)于信息而言，規(guī)模也是非常重要的。谷歌能夠幾近完美地給出和基于大量真實(shí)病例信息所得到的流感情況一致的結(jié)果，而且?guī)缀跏菍?shí)時(shí)的，比疾控中心快多了。同樣， Farecast可以預(yù)測(cè)機(jī)票價(jià)格的波動(dòng)，從而讓消費(fèi)者真正在經(jīng)濟(jì)上獲利。它們之所以如此給力，都因?yàn)榇嬖诠┢浞治龅臄?shù)千億記的數(shù)據(jù)項(xiàng)。

大數(shù)據(jù)洞察

大數(shù)據(jù)的科學(xué)價(jià)值和社會(huì)價(jià)值正是體現(xiàn)在這里。一方面，對(duì)大數(shù)據(jù)的掌握程度可以轉(zhuǎn)化為經(jīng)濟(jì)價(jià)值的來源。另一方面，大數(shù)據(jù)時(shí)代已經(jīng)撼動(dòng)了世界的方方面面，從商業(yè)科技到醫(yī)療、政府、教育、經(jīng)濟(jì)、人文以及社會(huì)的其他各個(gè)領(lǐng)域。 盡管我們?nèi)蕴幱诖髷?shù)據(jù)時(shí)代來臨的前夕，但我們的日常生活已經(jīng)離不開它了。垃圾郵件過濾器可以自動(dòng)過濾垃圾郵件，盡管它并不知道“發(fā) #票 #銷 #售”是“發(fā)票銷售”的一種變體。交友網(wǎng)站根據(jù)個(gè)人的性格與之前成功配對(duì)的情侶之間的關(guān)聯(lián)來進(jìn)行新的配對(duì)。具有“自動(dòng)改正”功能的智能手機(jī)通過分析我們以前的輸入，將個(gè)性化的新單詞添加到手機(jī)詞典里。然而，對(duì)于這些數(shù)據(jù)的利用還僅僅只是一個(gè)開始。從可以自動(dòng)轉(zhuǎn)彎和剎車的汽車，到 IBM沃特森超級(jí)電腦在游戲節(jié)目《危險(xiǎn)邊緣》（Jeopardy）中打敗人類來看，這項(xiàng)技術(shù)終將會(huì)改變我們所居住的星球的許多東西。

預(yù)測(cè)，大數(shù)據(jù)的核心

大數(shù)據(jù)的核心就是預(yù)測(cè)。它通常被視為人工智能的一部分，或者更確切地說，被視為一種機(jī)器學(xué)習(xí)。但是這種定義是有誤導(dǎo)性的。大數(shù)據(jù)不是要教機(jī)器像人一樣思考。相反，它是把數(shù)學(xué)算法運(yùn)用到海量的數(shù)據(jù)上來預(yù)測(cè)事情發(fā)生的可能性。一封郵件被作為垃圾郵件過濾掉的可能性，輸入的“ teh”應(yīng)該是“ the”的可能性，從一個(gè)人亂穿馬路時(shí)行進(jìn)的軌跡和速度來看他能及時(shí)穿過馬路的可能性，都是大數(shù)據(jù)可以預(yù)測(cè)的范圍。當(dāng)然，如果一個(gè)人能及時(shí)穿過馬路，那么他亂穿馬路時(shí)，車子就只需要稍稍減速就好。但是這些預(yù)測(cè)系統(tǒng)之所以能夠成功，關(guān)鍵在于它們是建立在海量數(shù)據(jù)的基礎(chǔ)之上的。此外，隨著系統(tǒng)接收到的數(shù)據(jù)越來越多，通過記錄找到的最好的預(yù)測(cè)與模式，可以對(duì)系統(tǒng)進(jìn)行改進(jìn)。

在不久的將來，世界許多現(xiàn)在單純依靠人類判斷力的領(lǐng)域都會(huì)被計(jì)算機(jī)系統(tǒng)所改變甚至取代。計(jì)算機(jī)系統(tǒng)可以發(fā)揮作用的領(lǐng)域遠(yuǎn)遠(yuǎn)不止駕駛和交友，一場(chǎng)生活、工作與思維的大變革還有更多更復(fù)雜的任務(wù)。別忘了，亞馬遜可以幫我們推薦想要的書，谷歌可以為關(guān)聯(lián)網(wǎng)站排序，facebook知道我們的喜好，而 LinkedIn可以猜出我們認(rèn)識(shí)誰。當(dāng)然，同樣的技術(shù)也可以運(yùn)用到疾病診斷、推薦治療措施，甚至是識(shí)別潛在犯罪分子上。

就像互聯(lián)網(wǎng)通過給計(jì)算機(jī)添加通信功能而改變了世界，大數(shù)據(jù)也將改變我們生活中最重要的方面，因?yàn)樗鼮槲覀兊纳顒?chuàng)造了前所未有的可量化的維度。大數(shù)據(jù)已經(jīng)成為了新發(fā)明和新服務(wù)的源泉，而更多的改變正蓄勢(shì)待發(fā)。