大數(shù)據(jù)時(shí)代的三個(gè)思維變換

維克托·爾耶·舍恩伯格在《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》中最具洞見之處在于，他明確指出，大數(shù)據(jù)時(shí)代最大的轉(zhuǎn)變就是，放棄對因果關(guān)系的渴求，而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道“是什么”，而不需要知道“為什么”。這顛覆了千百年來人類的思維慣例，對人類的認(rèn)知和與世界交流的方式提出了全新的挑戰(zhàn)。

知名IT研究機(jī)構(gòu)Gartner以它對專業(yè)IT市場的“魔力象限圖”發(fā)布作為一種評價(jià)方式，在其二維矩陣?yán)铮瑱M軸是前瞻的完整性，縱軸是執(zhí)行力，如果用此分析方法來評價(jià)《大數(shù)據(jù)時(shí)代》這本書，它大概位于右下角靠近縱軸中間點(diǎn)的位置。

2012年，筆者看過的3本有關(guān)大數(shù)據(jù)的中文書，它們分別是《證析》、《大數(shù)據(jù)》和維克托·邁爾·舍恩伯格的《大數(shù)據(jù)時(shí)代》。與其他兩本相比，舍恩伯格這本書的特點(diǎn)重在“Impact Analysis”的前瞻分析，在大數(shù)據(jù)時(shí)代的思維變遷方面有啟發(fā)價(jià)值。也說是說，此書對于企業(yè)高管和CIO的價(jià)值更大，它基本沒有太多討論技術(shù)，而偏重于觀念轉(zhuǎn)移（Paradigm Shift）。

簡單說來，這本書的價(jià)值可以用兩個(gè)“三”、一個(gè)“一”來概括：第1個(gè)“三”是3個(gè)關(guān)于大數(shù)據(jù)的思維變換，重在大數(shù)據(jù)變革時(shí)代的價(jià)值與觀念變化；第2個(gè)“三”是關(guān)于大數(shù)據(jù)影響商業(yè)變革的3個(gè)要素：即數(shù)據(jù)、技術(shù)與創(chuàng)新思維之間的互動(dòng)；一個(gè)“一”是關(guān)于大數(shù)據(jù)泛化下的治理與隱私。

關(guān)于大數(shù)據(jù)本身的價(jià)值已無需贅述，此處重點(diǎn)討論關(guān)于大數(shù)據(jù)的3個(gè)思維變化：1.不是隨機(jī)樣本，而是全體數(shù)據(jù)；2.不是精確性，而是混雜性，尤其是大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法有效；3.不是因果關(guān)系，而是相互關(guān)系。

《大數(shù)據(jù)時(shí)代》一書提醒讀者，大數(shù)據(jù)是全數(shù)據(jù)，至少維度要全，這帶來了觀察和分析事物的角度變化，尤其相對于傳統(tǒng)IT系統(tǒng)數(shù)據(jù)，大數(shù)據(jù)強(qiáng)調(diào)了數(shù)據(jù)的外部性和實(shí)時(shí)性，這兩個(gè)特性也使得“證析”提到的基于事實(shí)（Evidence）的分析成為可能，不過此書忽略了外部數(shù)據(jù)與企業(yè)內(nèi)部數(shù)據(jù)結(jié)合的分析價(jià)值。比如，對于政府來說，分析大范圍的公共衛(wèi)生事件、傳染病可以更快地利用大數(shù)據(jù)（比如微博）發(fā)現(xiàn)目前的情況，但具體要調(diào)度資源，還是需要結(jié)合“小數(shù)據(jù)”的精確決策。

第2點(diǎn)的核心觀念關(guān)于大數(shù)據(jù)的簡單算法來自谷歌的洞見，也來自于Hadoop（一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)）這類算法的核心理念。大數(shù)據(jù)的簡單算法是一種統(tǒng)計(jì)學(xué)的邏輯，這個(gè)如同熱力學(xué)的分析模式，熱力學(xué)并不關(guān)心具體的分子運(yùn)動(dòng)，而是關(guān)心溫度、體積、壓強(qiáng)之間的宏觀聯(lián)系，關(guān)于這種理念的內(nèi)在理解，建議讀者從吳軍的《數(shù)學(xué)之美》一書中獲得，只有真正理解了大數(shù)據(jù)基于統(tǒng)計(jì)學(xué)的思維方式，才能理解它的獨(dú)特優(yōu)勢和局限。這種方式可以解決以往技術(shù)無法解決的大范圍、實(shí)時(shí)性和并行處理等問題，并帶來新的洞見，它用概率說話，并不是和人就細(xì)節(jié)較真。這個(gè)來自互聯(lián)網(wǎng)公司的觀念是，希望先解決80%的趨勢問題，然后慢慢精細(xì)化。

第3點(diǎn)，大數(shù)據(jù)關(guān)注“是什么”，而不是“為什么”，經(jīng)常網(wǎng)購的人會(huì)更容易體會(huì)。很多電商網(wǎng)站的推薦引擎具備這種能力，它能夠在顧客買書的時(shí)候，推薦顧客剛好喜歡的其他書籍，顧客可能不知道“為什么”，其實(shí)網(wǎng)站也不在乎“為什么”，(“為什么”可以由學(xué)術(shù)專家慢慢分析)。但是網(wǎng)站根據(jù)成千上萬甚至上億人的統(tǒng)計(jì)學(xué)分析，就可以發(fā)現(xiàn)“關(guān)聯(lián)物”，或者說大數(shù)據(jù)更擅長通過統(tǒng)計(jì)分析人類所不能感知的關(guān)聯(lián)，并建議人采取行動(dòng)。

這個(gè)革命式的思維非同小可，以前“啤酒+尿布”的數(shù)據(jù)倉庫故事需要數(shù)據(jù)整理、清洗轉(zhuǎn)換和專家建模挖掘，其采購行為的關(guān)聯(lián)性可能被Hadoop等算法輕易的發(fā)現(xiàn)。上述方式由于分析門檻低，已經(jīng)成為一種常見的工具，并衍生大數(shù)據(jù)的云服務(wù)的商業(yè)模式，成為企業(yè)可以購買的“分析即服務(wù)”（Analytics as a Services），國內(nèi)阿里系正致力于這種模式的建立。

第2部分關(guān)于大數(shù)據(jù)商業(yè)模式方面，最有價(jià)值的是關(guān)于大數(shù)據(jù)商業(yè)生態(tài)的分析，除了大家熟知的數(shù)據(jù)、技術(shù)，作者認(rèn)為還有第3種基于思維的大數(shù)據(jù)公司，包括數(shù)據(jù)中間商等等，這對于國內(nèi)過于關(guān)注技術(shù)本身的趨勢是個(gè)很好的提醒。一個(gè)有趣的話題是，作者認(rèn)為基于統(tǒng)計(jì)的數(shù)據(jù)科學(xué)家會(huì)逐步取代行業(yè)專家，因?yàn)榇髷?shù)據(jù)發(fā)現(xiàn)的新的真實(shí)聯(lián)系，可能會(huì)顛覆傳統(tǒng)行業(yè)專家，這個(gè)話題學(xué)術(shù)界可能很感興趣。

一個(gè)耐人尋味的例子是，基于大數(shù)據(jù)統(tǒng)計(jì)分析的自然語言翻譯幾年前就勝過了基于語義理解的語言學(xué)家派別，書中提到的一個(gè)從事語言翻譯的算法小組甚至開玩笑地說，“每次我們組走了一個(gè)語言專家，我們的翻譯精確度就提高一些”。

第3部分是關(guān)于大數(shù)據(jù)成為喬治·奧威爾《一九八四》里的“老大哥”，即通過技術(shù)手段實(shí)現(xiàn)了無處不在的監(jiān)控以后，隱私和濫用的問題最為讓人擔(dān)心。筆者認(rèn)為這個(gè)話題過于公共，而且已有很多文章在討論，并不是本書的特質(zhì)，況且大數(shù)據(jù)的興起是一個(gè)漸進(jìn)的過程，各個(gè)行業(yè)的實(shí)用案例尚在興起，行業(yè)內(nèi)部應(yīng)專注于行業(yè)創(chuàng)新，關(guān)于公共的話題的討論還是留給學(xué)者、政府和未來。

西方作者有一類是理念的鼓吹者，最著名是《失控》的作者KK（凱文·凱利），此類被讀者推崇為傳教士的作者，喜歡推廣顛覆式的觀念，產(chǎn)生一種前世今生（Before/After）比較的震撼力。本書作者也是如此，如此顛覆，強(qiáng)力的大數(shù)據(jù)時(shí)代似乎正在到來，然而，此類作者也會(huì)被人指責(zé)為“管殺不管埋”——提出理念，不對具體的可行性負(fù)責(zé)?；氐角拔奶岬降腉artner的“魔力象限圖”，漸進(jìn)的執(zhí)行力才是大數(shù)據(jù)這種趨勢逐步在各個(gè)行業(yè)開花的關(guān)鍵。