大數(shù)據(jù)的三個(gè)思維變換_數(shù)據(jù)分析師

維克托·爾耶·舍恩伯格在《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》中最具洞見(jiàn)之處在于，他明確指出，大數(shù)據(jù)時(shí)代最大的轉(zhuǎn)變就是，放棄對(duì)因果關(guān)系的渴求，而取而代之關(guān)注相關(guān)關(guān)系。也就是說(shuō)只要知道“是什么”，而不需要知道“為什么”。這顛覆了千百年來(lái)人類(lèi)的思維慣例，對(duì)人類(lèi)的認(rèn)知和與世界交流的方式提出了全新的挑戰(zhàn)。

　　知名IT研究機(jī)構(gòu)Gartner以它對(duì)專(zhuān)業(yè)IT市場(chǎng)的“魔力象限圖”發(fā)布作為一種評(píng)價(jià)方式，在其二維矩陣?yán)?，橫軸是前瞻的完整性，縱軸是執(zhí)行力，如果用此分析方法來(lái)評(píng)價(jià)《大數(shù)據(jù)時(shí)代》這本書(shū)，它大概位于右下角靠近縱軸中間點(diǎn)的位置。

　　2012年，筆者看過(guò)的3本有關(guān)大數(shù)據(jù)的中文書(shū)，它們分別是《證析》、《大數(shù)據(jù)》和維克托·邁爾·舍恩伯格的《大數(shù)據(jù)時(shí)代》。與其他兩本相比，舍恩伯格這本書(shū)的特點(diǎn)重在“Impact Analysis”的前瞻分析，在大數(shù)據(jù)時(shí)代的思維變遷方面有啟發(fā)價(jià)值。也說(shuō)是說(shuō)，此書(shū)對(duì)于企業(yè)高管和CIO的價(jià)值更大，它基本沒(méi)有太多討論技術(shù)，而偏重于觀念轉(zhuǎn)移(Paradigm Shift)。www.yunmar.com.cn

　　簡(jiǎn)單說(shuō)來(lái)，這本書(shū)的價(jià)值可以用兩個(gè)“三”、一個(gè)“一”來(lái)概括：第1個(gè)“三”是3個(gè)關(guān)于大數(shù)據(jù)的思維變換，重在大數(shù)據(jù)變革時(shí)代的價(jià)值與觀念變化;第2個(gè) “三”是關(guān)于大數(shù)據(jù)影響商業(yè)變革的3個(gè)要素：即數(shù)據(jù)、技術(shù)與創(chuàng)新思維之間的互動(dòng);一個(gè)“一”是關(guān)于大數(shù)據(jù)泛化下的治理與隱私。

　　關(guān)于大數(shù)據(jù)本身的價(jià)值已無(wú)需贅述，此處重點(diǎn)討論關(guān)于大數(shù)據(jù)的3個(gè)思維變化：1.不是隨機(jī)樣本，而是全體數(shù)據(jù);2.不是精確性，而是混雜性，尤其是大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的復(fù)雜算法有效;3.不是因果關(guān)系，而是相互關(guān)系。

　　《大數(shù)據(jù)時(shí)代》一書(shū)提醒讀者，大數(shù)據(jù)是全數(shù)據(jù)，至少維度要全，這帶來(lái)了觀察和分析事物的角度變化，尤其相對(duì)于傳統(tǒng)IT系統(tǒng)數(shù)據(jù)，大數(shù)據(jù)強(qiáng)調(diào)了數(shù)據(jù)的外部性和實(shí)時(shí)性，這兩個(gè)特性也使得“證析”提到的基于事實(shí)(Evidence)的分析成為可能，不過(guò)此書(shū)忽略了外部數(shù)據(jù)與企業(yè)內(nèi)部數(shù)據(jù)結(jié)合的分析價(jià)值。比如，對(duì)于政府來(lái)說(shuō)，分析大范圍的公共衛(wèi)生事件、傳染病可以更快地利用大數(shù)據(jù)(比如微博)發(fā)現(xiàn)目前的情況，但具體要調(diào)度資源，還是需要結(jié)合“小數(shù)據(jù)”的精確決策。

　　第2點(diǎn)的核心觀念關(guān)于大數(shù)據(jù)的簡(jiǎn)單算法來(lái)自谷歌的洞見(jiàn)，也來(lái)自于Hadoop(一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開(kāi)發(fā))這類(lèi)算法的核心理念。大數(shù)據(jù)的簡(jiǎn)單算法是一種統(tǒng)計(jì)學(xué)的邏輯，這個(gè)如同熱力學(xué)的分析模式，熱力學(xué)并不關(guān)心具體的分子運(yùn)動(dòng)，而是關(guān)心溫度、體積、壓強(qiáng)之間的宏觀聯(lián)系，關(guān)于這種理念的內(nèi)在理解，建議讀者從吳軍的《數(shù)學(xué)之美》一書(shū)中獲得，只有真正理解了大數(shù)據(jù)基于統(tǒng)計(jì)學(xué)的思維方式，才能理解它的獨(dú)特優(yōu)勢(shì)和局限。這種方式可以解決以往技術(shù)無(wú)法解決的大范圍、實(shí)時(shí)性和并行處理等問(wèn)題，并帶來(lái)新的洞見(jiàn)，它用概率說(shuō)話，并不是和人就細(xì)節(jié)較真。這個(gè)來(lái)自互聯(lián)網(wǎng)公司的觀念是，希望先解決80%的趨勢(shì)問(wèn)題，然后慢慢精細(xì)化。

　　第3點(diǎn)，大數(shù)據(jù)關(guān)注“是什么”，而不是“為什么”，經(jīng)常網(wǎng)購(gòu)的人會(huì)更容易體會(huì)。很多電商網(wǎng)站的推薦引擎具備這種能力，它能夠在顧客買(mǎi)書(shū)的時(shí)候，推薦顧客剛好喜歡的其他書(shū)籍，顧客可能不知道“為什么”，其實(shí)網(wǎng)站也不在乎“為什么”，(“為什么”可以由學(xué)術(shù)專(zhuān)家慢慢分析)。但是網(wǎng)站根據(jù)成千上萬(wàn)甚至上億人的統(tǒng)計(jì)學(xué)分析，就可以發(fā)現(xiàn)“關(guān)聯(lián)物”，或者說(shuō)大數(shù)據(jù)更擅長(zhǎng)通過(guò)統(tǒng)計(jì)分析人類(lèi)所不能感知的關(guān)聯(lián)，并建議人采取行動(dòng)。這個(gè)革命式的思維非同小可，以前“啤酒+尿布”的數(shù)據(jù)倉(cāng)庫(kù)故事需要數(shù)據(jù)整理、清洗轉(zhuǎn)換和專(zhuān)家建模挖掘，其采購(gòu)行為的關(guān)聯(lián)性可能被Hadoop等算法輕易的發(fā)現(xiàn)。上述方式由于分析門(mén)檻低，已經(jīng)成為一種常見(jiàn)的工具，并衍生大數(shù)據(jù)的云服務(wù)的商業(yè)模式，成為企業(yè)可以購(gòu)買(mǎi)的“分析即服務(wù)”(Analytics as a Services)，國(guó)內(nèi)阿里系正致力于這種模式的建立。

　　第2部分關(guān)于大數(shù)據(jù)商業(yè)模式方面，最有價(jià)值的是關(guān)于大數(shù)據(jù)商業(yè)生態(tài)的分析，除了大家熟知的數(shù)據(jù)、技術(shù)，作者認(rèn)為還有第3種基于思維的大數(shù)據(jù)公司，包括數(shù)據(jù)中間商等等，這對(duì)于國(guó)內(nèi)過(guò)于關(guān)注技術(shù)本身的趨勢(shì)是個(gè)很好的提醒。一個(gè)有趣的話題是，作者認(rèn)為基于統(tǒng)計(jì)的數(shù)據(jù)科學(xué)家會(huì)逐步取代行業(yè)專(zhuān)家，因?yàn)榇髷?shù)據(jù)發(fā)現(xiàn)的新的真實(shí)聯(lián)系，可能會(huì)顛覆傳統(tǒng)行業(yè)專(zhuān)家，這個(gè)話題學(xué)術(shù)界可能很感興趣。一個(gè)耐人尋味的例子是，基于大數(shù)據(jù)統(tǒng)計(jì)分析的自然語(yǔ)言翻譯幾年前就勝過(guò)了基于語(yǔ)義理解的語(yǔ)言學(xué)家派別，書(shū)中提到的一個(gè)從事語(yǔ)言翻譯的算法小組甚至開(kāi)玩笑地說(shuō)，“每次我們組走了一個(gè)語(yǔ)言專(zhuān)家，我們的翻譯精確度就提高一些”。

　　第3部分是關(guān)于大數(shù)據(jù)成為喬治·奧威爾《一九八四》里的“老大哥”，即通過(guò)技術(shù)手段實(shí)現(xiàn)了無(wú)處不在的監(jiān)控以后，隱私和濫用的問(wèn)題最為讓人擔(dān)心。筆者認(rèn)為這個(gè)話題過(guò)于公共，而且已有很多文章在討論，并不是本書(shū)的特質(zhì)，況且大數(shù)據(jù)的興起是一個(gè)漸進(jìn)的過(guò)程，各個(gè)行業(yè)的實(shí)用案例尚在興起，行業(yè)內(nèi)部應(yīng)專(zhuān)注于行業(yè)創(chuàng)新，關(guān)于公共的話題的討論還是留給學(xué)者、政府和未來(lái)。

　　西方作者有一類(lèi)是理念的鼓吹者，最著名是《失控》的作者KK(凱文·凱利)，此類(lèi)被讀者推崇為傳教士的作者，喜歡推廣顛覆式的觀念，產(chǎn)生一種前世今生(Before/After)比較的震撼力。本書(shū)作者也是如此，如此顛覆，強(qiáng)力的大數(shù)據(jù)時(shí)代似乎正在到來(lái)，然而，此類(lèi)作者也會(huì)被人指責(zé)為“管殺不管埋” ——提出理念，不對(duì)具體的可行性負(fù)責(zé)?；氐角拔奶岬降腉artner的“魔力象限圖”，漸進(jìn)的執(zhí)行力才是大數(shù)據(jù)這種趨勢(shì)逐步在各個(gè)行業(yè)開(kāi)花的關(guān)鍵。