3000字概括《大數(shù)據(jù)時代》

大數(shù)據(jù) 引起了變革

當今社會所獨有的一種新型能力：以一種前所未有的方式，通過對海量數(shù)據(jù)進行數(shù)據(jù)分析，獲得巨大價值的產(chǎn)品和服務，或深刻的洞見。

1、震人心魄的數(shù)據(jù)
2003年，人類第一次破譯人體基因密碼的時候，辛苦工作10年才完成了三十億對堿基對的排序；大約10年后，世界范圍內的基因儀每15分鐘就可以 完成同樣的工作。在金融領域，美國股市每天的成交量高達70億股，而其中三分之二的交易都是郵件里在數(shù)學模型和算法之上的計算機程序自動完成的。
在2007年，所有數(shù)據(jù)中只有7%是存儲在報紙、書籍、圖片等媒介上的模擬數(shù)據(jù)，其余全部是數(shù)字數(shù)據(jù)；在2000年時，數(shù)字存儲信息仍只占全球數(shù)據(jù)量的四分之一；當時，另外四分之三的信息都存儲在報紙、膠片、黑膠唱片和盒式磁帶這類媒介上。
2、大數(shù)據(jù)的精髓
大數(shù)據(jù)帶給我們的三個顛覆性觀念轉變：是全部數(shù)據(jù)，而不是隨機采樣；是大體方向，而不是精確制導；是相關關系，而不是因果關系。
A.不是隨機樣本，而是全體數(shù)據(jù)：在大數(shù)據(jù)時代，我們可以分析更多的數(shù)據(jù)，有時候甚至可以處理和某個特別現(xiàn)象相關的所有數(shù)據(jù)，而不再依賴于隨機采樣（隨機采樣，以前我們通常把這看成是理所應當?shù)南拗?，但高性能的?shù)字技術讓我們意識到，這其實是一種人為限制）；
B.不是精確性，而是混雜性：研究數(shù)據(jù)如此之多，以至于我們不再熱衷于追求精確度；之前需要分析的數(shù)據(jù)很少，所 以我們必須盡可能精確地量化我們的記錄，隨著規(guī)模的擴大，對精確度的癡迷將減弱；擁有了大數(shù)據(jù)，我們不再需要對一個現(xiàn)象刨根問底，只要掌握了大體的發(fā)展方 向即可，適當忽略微觀層面上的精確度，會讓我們在宏觀層面擁有更好的洞察力；
C.不是因果關系，而是相關關系：我們不再熱衷于找因果關系，尋找因果關系是人類長久以來的習慣，在大數(shù)據(jù)時代，我們無須再緊盯事物之間的因果關系，而應該尋找事物之間的相關關系；相關關系也許不能準確地告訴我們某件事情為何會發(fā)生，但是它會提醒我們這件事情正在發(fā)生。
3、大數(shù)據(jù)的核心是預測
大數(shù)據(jù)的核心就是預測，它通常被視為人工智能的一部分，或者更確切地說，被視為一種機器學習。大數(shù)據(jù)不是要教機器人像人一樣思考，而是把數(shù)學算法運用到海量的數(shù)據(jù)上來預測事情發(fā)生的可能性。
不是隨機樣本，而是全體數(shù)據(jù)
歷史上，因為記錄、儲存、分析數(shù)據(jù)的工具都不夠好，為了讓分析變得簡單，我們選擇了把數(shù)據(jù)量減少，統(tǒng)計學的一個目的就是用盡可能少的數(shù)據(jù)來證實盡可能重大的發(fā)現(xiàn)。
1、傳統(tǒng)抽樣的精確性
采樣分析的精確性隨著采樣隨機性的增加而大幅提高，但與樣本數(shù)量的增加關系不大，大致原因是當樣本數(shù)量達到某個值后，我們從新個體身上得到的信息會越來越少，這與經(jīng)濟學中的邊際效應類似。
2、 隨機采樣的問題
隨機采樣有一個很大的問題：人們只能從隨機采樣中得出事先設計好的問題的結果，調查得出的數(shù)據(jù)不可以重新分析以實現(xiàn)計劃之外的目的，而且一旦采樣過程中存在任何偏見，分析結果就會相去甚遠。
3、樣本=總體
采樣的目的就是用最少的數(shù)據(jù)得到最多的信息，當我們可以獲得海量數(shù)據(jù)的時候，它就沒有什么意義了；生活中真正有趣的事情經(jīng)常藏匿在細節(jié)之中，而采樣分析卻無法捕捉到這些細節(jié)（因為采樣不能得到計劃之外的東西）；大數(shù)據(jù)建立在掌握所有數(shù)據(jù)，至少是盡可能多的數(shù)據(jù)的基礎上，所以我們就可以正確地考察細節(jié) 并進行新的分析。
不是精確性，而是混雜性
執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物，只有5%的數(shù)據(jù)是結構化且能適用于傳統(tǒng)數(shù)據(jù)庫的，如果不能接受混亂，剩下的95%的非結構化數(shù)據(jù)都無法被利用。
1、小數(shù)據(jù)時代的精確性
在“小數(shù)據(jù)時代”，人們收集、處理數(shù)據(jù)的能力有限，對“小數(shù)據(jù)”而言，最基本、最重要的要求就是減少錯誤，保證質量（收集信息的有限意味著細微錯誤 會被放大，甚至有可能影響整個結果的準確性）。人們創(chuàng)造了很多精確的系統(tǒng)，這些系統(tǒng)試圖讓我們接受一個世界困乏而規(guī)整的慘象——假裝世間萬物都是整齊地排 列的；事實上現(xiàn)實是紛繁復雜的，天地間存在的事物也遠遠多于系統(tǒng)所設想的。
2、 我們要的是概率
我們總是為了一個“答案”而活著，精確性似乎一直是我們生活的支撐，但認為每個問題只有一個答案的想法是站不住腳的。“一個唯一的真理“的存在是不 可能的，而且追求這個唯一的真理是對注意力的分散。大數(shù)據(jù)也許是拯救我們的關鍵方法：大數(shù)據(jù)通常用概率說話，而不是板著“準確無疑”的面孔。
不是因果關系，而是相關關系
在大數(shù)據(jù)時代，我們不必知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。我們不再一味追求人們?yōu)槭裁催@么做，知道人們?yōu)槭裁催@么做可能是有用的，但這個問題目前并不是很重要，重要的是我們能通過大數(shù)據(jù)分析出人們的相關行為。
1、相關關系
相關關系的核心是量化兩個數(shù)據(jù)值之間的數(shù)理關系：相關關系強是指當一個數(shù)據(jù)值增加時，另一個數(shù)據(jù)值很有可能也會隨之增加；相關關系弱就意味著當一個 數(shù)據(jù)值增加時，另一個數(shù)據(jù)值幾乎不會發(fā)生變化。相關關系通過識別有用的關聯(lián)物來幫助我們分析一個現(xiàn)象，而不是通過揭示其內部的運作機制。相關關系沒有絕 對，只有可能性。
2、人們的直接目的就是尋找因果關系
人們的直接愿望就是了解因果關系，我們已經(jīng)習慣了信息的匱乏，故此亦習慣了在少量數(shù)據(jù)的基礎上進行推理思考。以前我們用實驗來證明因果關系，它是通 過是否有誘因來分別觀察所產(chǎn)生的結果是不是和真實情況相符。但是，凡事皆有因果的話，那么我們就沒有決定任何事的自由了。如果說我們做的每一個決定或者每 一個想法都是其他事情的結果，而這個結果又是由其他原因導致的，以此循環(huán)往復，那么就不存在人的自由意志這一說了——所有的生命軌跡都只是受到因果關系的 控制了——這顯然是不正確的。
3、 相關關系和因果關系并不矛盾
相關關系分析本身意義重大，同時它也為研究因果關系奠定了基礎，通過找出可能相關的事物，我們可以在此基礎上進行進一步的因果關系分析，如果存在因 果關系的話，我們再進一步找出原因。在大多數(shù)情況下，一旦我們完成了對大數(shù)據(jù)的相關關系分析，而又不再滿足于僅僅知道“是什么”時，我們就會繼續(xù)向更深層 次研究因果關系，找出背后的“為什么”。在小數(shù)據(jù)時代，我們會假象世界是怎么運作的，然后通過收集和分析數(shù)據(jù)來驗證這種假象；在大數(shù)據(jù)時代，我們會在數(shù)據(jù) 的指導下探索世界，不再受限于各種假想；我們的研究始于數(shù)據(jù)，也因為數(shù)據(jù)我們發(fā)現(xiàn)了以前不曾發(fā)現(xiàn)的聯(lián)系。
A.大量的數(shù)據(jù)意味著“理論的終結”：用一系列的因果關系來驗證各種猜測的傳統(tǒng)研究范式已經(jīng)不實用了，如今它已經(jīng)被無需理論指導的相關關系研究所取代；
B.現(xiàn)在已經(jīng)是一個有海量數(shù)據(jù)的時代，應用數(shù)學已經(jīng)取代了其他的所有學科工具，而且只要數(shù)據(jù)足夠，就能說明問題，如果你有一拍字節(jié)的數(shù)據(jù)，只要掌握了這些數(shù)據(jù)之間的相關關系，一切就迎刃而解了；
C.“理論的終結”：所有的普遍規(guī)則都不重要了，重要的是數(shù)據(jù)分析，它可以揭示一切問題；但大數(shù)據(jù)并不意味著理論已死，因為大數(shù)據(jù)就是在理論的基礎上形成的。
大數(shù)據(jù)時代的商業(yè)變革
在一個可能性和相關性占主導地位的世界里，專業(yè)性變得不那么重要了；行業(yè)并不會消失，但是他們必須與數(shù)據(jù)表達的信息進行博弈。
1、 數(shù)據(jù)化：一切皆可量化
大數(shù)據(jù)的核心發(fā)展動力來源于人類測量、記錄和分析世界的渴望。為了得到可量化的信息，我們要知道如何計量；為了數(shù)據(jù)化量化了的信息，我們要知道怎么記錄計量的結果。如今我們經(jīng)常把“數(shù)字化”和“數(shù)據(jù)化”這兩個概念搞混，但是對這兩個概念的區(qū)分實際上非常重要：
A.數(shù)據(jù)化：一種把現(xiàn)象轉變?yōu)榭芍票矸治龅牧炕问降倪^程；
B.數(shù)字化：把模擬數(shù)據(jù)轉換成0和1表示的二進制碼；
數(shù)字化帶來了數(shù)據(jù)化，但是數(shù)字化無法取代數(shù)據(jù)化；數(shù)字化是把模擬數(shù)據(jù)變成計算機課讀的數(shù)據(jù)，和數(shù)據(jù)化有著本質的不同。
2、當方位變成了數(shù)據(jù)
1978年見證了一個偉大的轉變，當時構成全球定位系統(tǒng)（GPS）的24顆衛(wèi)星第一次發(fā)射成功，通過與技術手段的融合，全球定位系統(tǒng)能夠快速、相對 低價地進行地理定位，而且不需要任何專業(yè)知識。地理位置信息匯集起來，可能會揭示事情的發(fā)展趨勢；位置信息一旦被數(shù)據(jù)化，新的用途就猶如雨后春筍般涌現(xiàn)出 來，而新價值也會隨之不斷催生。
3、 當溝通變成數(shù)據(jù)
社交網(wǎng)絡平臺不僅給我們提供了尋找和維持朋友、同事關系的場所，也將我們日常生活的無形元素提取出來，再轉化為可作新用途的數(shù)據(jù)。數(shù)據(jù)化不僅能將態(tài)度和情緒轉變?yōu)橐环N可分析的形式，也可能轉化人類的行為，這些行為難以跟蹤，特別是在廣大的社區(qū)和其中的子人群環(huán)境中。
A.Facebook將關系數(shù)據(jù)化——社交關系在過去一直被視作信息而存在，但從未被正式界定為數(shù)據(jù)，直到Facebook“社交圖譜”的出現(xiàn)；
B.Twitter通過創(chuàng)新，讓人們能輕易記錄以及分享他們零散的想法，從而使情緒數(shù)據(jù)化得以實現(xiàn)。
4、“取之不盡，用之不竭“的數(shù)據(jù)創(chuàng)新
盡管數(shù)據(jù)長期以來一直是有價值的，但通常只是被視作附屬企業(yè)經(jīng)營核心業(yè)務的一部分，或者被歸入知識產(chǎn)權或個人信息中相對狹窄的類別，但在大數(shù)據(jù)時代，所有數(shù)據(jù)都是有價值的。我們的時代，數(shù)據(jù)收集不再存在固有的局限性，由于存儲成本的大幅下降，保存數(shù)據(jù)比丟棄數(shù)據(jù)更加容易，這使得以較低成本獲得更多 數(shù)據(jù)的可能性比以往任何時候都大。不同于物質性的東西，數(shù)據(jù)的價值不會隨著它的使用而減少，而是可以不斷地被處理，信息不會像其他物質產(chǎn)品一樣隨著使用而 有所損耗。數(shù)據(jù)的價值并不僅限于特定的用途，它可以為了同一目的而被多次使用，也可用于其他目的。