大數(shù)據(jù)，假規(guī)律聚集地

在大數(shù)據(jù)逐漸成為時尚代名詞的時代，越來越多的專家學(xué)者開始試圖揭開大數(shù)據(jù)的時尚外衣，尋找大數(shù)據(jù)這堆稻草中一根有意義的針。

　　2012年下半年，幾本有關(guān)大數(shù)據(jù)的暢銷書陸續(xù)出版，從國內(nèi)信息管理專家涂子沛的《大數(shù)據(jù)：正在到來的數(shù)據(jù)革命》，到艾伯特 . 拉斯洛 . 巴拉巴西顛覆《黑天鵝》的驚世之作《爆發(fā)：大數(shù)據(jù)時代預(yù)見未來的新思維》，再到維克托 . 邁爾 . 舍恩伯格的“國外大數(shù)據(jù)系統(tǒng)研究先河之作”《大數(shù)據(jù)時代》， 最終引爆了大數(shù)據(jù)。

　　然而，進(jìn)入2013年之后，各路大數(shù)據(jù)研究者卻逐漸從興奮轉(zhuǎn)入反思，以北京大學(xué)傳播學(xué)教授劉德寰、阿里云總裁王堅等人的聲音為代表。一句“云計算和大數(shù)據(jù)，你們都理解錯了”，王堅成功地引起了大家的關(guān)注，他從“大數(shù)據(jù)”這個概念是否準(zhǔn)確入手，剖析互聯(lián)網(wǎng)領(lǐng)域的大數(shù)據(jù)與其他領(lǐng)域的大數(shù)據(jù)的區(qū)別，指出如今的數(shù)據(jù)最突出的特點“不是大”，而是“數(shù)據(jù)變得在線了”。

　　無獨有偶，早在2012年6月13日的新浪微訪談上，北大教授劉德寰也闡述了自己對大數(shù)據(jù)的看法：“大數(shù)據(jù)一詞我不十分同意，沒有一定之規(guī).....‘. 大’是一個相對值?！苯眨禖IO Insight/信息方略》記者就由興奮轉(zhuǎn)入反思的大數(shù)據(jù)問題采訪了劉德寰教授，以下是經(jīng)過編輯整理的對話。

　　大數(shù)據(jù)，時尚代名詞

　　CIOI：如今，很多事情都想與大數(shù)據(jù)沾邊，不管是各種國內(nèi)外IT會議論壇，還是熱點話題。對于目前無處不在的大數(shù)據(jù)，你怎么看？

　　劉德寰：首先，大數(shù)據(jù)不是新事物，天文學(xué)、地質(zhì)學(xué)、量子物理、基因?qū)W等領(lǐng)域早已有這個概念?，F(xiàn)在的大數(shù)據(jù)熱潮主要指的是互聯(lián)網(wǎng)領(lǐng)域的大數(shù)據(jù)，與上述領(lǐng)域的大數(shù)據(jù)不同的是，因為人的復(fù)雜性，這個領(lǐng)域的大數(shù)據(jù)挖掘會更加困難。既然是關(guān)于人的研究就需要應(yīng)用研究人的方法梳理大數(shù)據(jù)。

　　“大數(shù)據(jù)”一詞我不十分同意，沒有一定之規(guī)。主要是相對于原來統(tǒng)計軟件的局限而形成的一個詞匯。由于現(xiàn)在互聯(lián)網(wǎng)痕跡的增加，數(shù)據(jù)已經(jīng)對原來的統(tǒng)計軟件形成了挑戰(zhàn)，所以“大”是一個相對值。

　　如你所說，如今大數(shù)據(jù)已經(jīng)無處不在，它已然成為一個時尚詞匯，而且很多人對于大數(shù)據(jù)存在理解混亂。

　　CIOI：你所指的理解混亂包括哪些方面？

　　劉德寰：現(xiàn)在談到大數(shù)據(jù)，基本有四個混亂觀念：第一，大數(shù)據(jù)是全數(shù)據(jù)，忽視甚至蔑視抽樣；第二，連續(xù)數(shù)據(jù)就是大數(shù)據(jù)；第三，數(shù)據(jù)量級大是大數(shù)據(jù)；第四，數(shù)據(jù)量大好于量小。與之相對應(yīng)的是：抽樣數(shù)據(jù)只要抽樣合理，結(jié)論就是準(zhǔn)確的；連續(xù)只是一個數(shù)據(jù)結(jié)構(gòu)；大量級的噪音會得出錯誤結(jié)論；大小與價值關(guān)系不大。

　　CIOI：也就是說，對于維克托.邁爾.舍恩伯格在《大數(shù)據(jù)時代》一書中提出的三組重要對比（注:因果關(guān)系VS相關(guān)關(guān)系，隨機樣本VS所有數(shù)據(jù)，精確性VS混雜性）你否定了其中兩組，那對于“不是因果關(guān)系，而是相關(guān)關(guān)系”這個觀點，你有什么要說？

　　劉德寰：舍恩伯格在《大數(shù)據(jù)時代》一書中提出的被廣泛接納的：大數(shù)據(jù)“沒有精確只有混雜，沒有因果只有相關(guān)”觀點是錯誤的，混雜的數(shù)據(jù)需要經(jīng)過梳理成合理的數(shù)據(jù)才有分析價值，無論是牛頓、愛因斯坦，還是韋伯的理想類型都是在混雜中找尋分析方法，相關(guān)關(guān)系很多時候是在沒有找到因果之前的認(rèn)識，因果與過程理解是研究的核心。

　　稻草與針的故事

　　CIOI：大量級數(shù)據(jù)的噪音問題會對數(shù)據(jù)分析與挖掘的結(jié)論有何影響？

　　劉德寰：斯坦福大學(xué)教授Trevor Hastie曾說過這樣一句話，數(shù)據(jù)挖掘是什么，就是在大規(guī)模的數(shù)據(jù)干草堆中尋找一根有意義的針，其麻煩在于“許多稻草看起來也像針”。

　　這是現(xiàn)在在數(shù)據(jù)挖掘的問題上面臨的最大風(fēng)險，海量數(shù)據(jù)帶來的風(fēng)險是處處都是假規(guī)律。數(shù)據(jù)太大，會帶來規(guī)律的喪失和嚴(yán)重的失真，每個結(jié)論都是顯著的，沒有什么是不顯著的，這樣就太可怕了。

　　CIOI：這種風(fēng)險的大小是由什么決定的？

　　劉德寰：數(shù)據(jù)量的大幅增加會造成結(jié)果的不準(zhǔn)確，來源不同的信息混雜會加大數(shù)據(jù)的混亂程度。研究發(fā)現(xiàn)：巨量數(shù)據(jù)集和細(xì)顆粒度的測量會導(dǎo)致出現(xiàn)“錯誤發(fā)現(xiàn)”的風(fēng)險增加。那種認(rèn)為“假設(shè)、檢驗、驗證的科學(xué)方法已經(jīng)過時”的論調(diào)，正是大數(shù)據(jù)時代的混亂與迷茫，人們索性擁抱凱文凱利所稱的混亂。

　　CIOI：那怎樣才能規(guī)避這種風(fēng)險？

　　劉德寰：抽樣。沒有抽樣的彌合，直接面對大數(shù)據(jù)，得出的結(jié)論基本上都是沒有用的。所以大數(shù)據(jù)到來的時候，千萬別像一個餓了好幾天的人見到一個東西的吃法，會撐死的。

　　數(shù)據(jù)分析與挖掘VS數(shù)據(jù)整理

　　CIOI：談到數(shù)據(jù)分析與挖掘，很多人都會提到啤酒與尿布的經(jīng)典案例，盡管這個案例可以說已經(jīng)非常陳舊了，你怎么看待這一點？

　　劉德寰：一個尿布與啤酒，還有一個現(xiàn)代汽車，是數(shù)據(jù)分析領(lǐng)域的兩個非常經(jīng)典案例。但是這兩個案例都發(fā)生在20年前，數(shù)據(jù)挖掘已經(jīng)談了五十年，但卻再沒有第三個、第四個經(jīng)典案例出現(xiàn)。這是因為現(xiàn)有的數(shù)據(jù)挖掘技術(shù)不能給商業(yè)決策者帶來真正的洞察。其實，這更應(yīng)該叫做數(shù)據(jù)整理。數(shù)據(jù)整理是什么？就如瞎子摸象，數(shù)據(jù)整理并沒有摸清楚事物背后真正的規(guī)律，只是基于局部數(shù)據(jù)、某種行為監(jiān)測整理出來的一個模型，這個模型甚至不能回答這個人想干什么，喜歡什么，這個人是怎樣的人這些問題。

　　所以，要做數(shù)據(jù)分析與挖掘，首先就要把規(guī)律弄明白，把分析方法弄明白。

　　CIOI：大數(shù)據(jù)時代的數(shù)據(jù)挖掘應(yīng)該怎么做，才能得出隱藏在無數(shù)假規(guī)律后面的真實結(jié)論？

　　劉德寰：上面已經(jīng)提到，現(xiàn)在所說的大數(shù)據(jù)主要指的是互聯(lián)網(wǎng)領(lǐng)域的大數(shù)據(jù)?；ヂ?lián)網(wǎng)用戶的基本特征、消費行為、上網(wǎng)行為、渠道偏好、行為喜好、生活軌跡與位置等，都反映用戶的基本行為規(guī)律。體系完整是所有分析性工作的第一步，完整的框架甚至勝過高深的模型。

　　歷程——族群——規(guī)律——驗證，這是我認(rèn)為比較好的數(shù)據(jù)分析與挖掘的框架。先要走歷程，看整個事態(tài)發(fā)展的歷程，找尋這個歷程當(dāng)中各個族群的規(guī)律，然后把這種規(guī)律，用抽樣的方式找完之后，放置到大數(shù)據(jù)當(dāng)中去不斷地重新彌合。亞馬遜從開始到現(xiàn)在一直是這樣的思路，這也是亞馬遜的廣告推薦能夠做到精準(zhǔn)的原因，原因就在于其不是就大數(shù)據(jù)談大數(shù)據(jù)，而是就人來談大數(shù)據(jù)。

　　這也是數(shù)據(jù)挖掘的基本邏輯。數(shù)據(jù)挖掘的商業(yè)本質(zhì)、結(jié)論，一定要極其簡單，但是挖掘的過程一定要復(fù)雜復(fù)雜再復(fù)雜。如果反過來，數(shù)據(jù)挖掘過程很簡單，一抓取，一排列，得出的結(jié)論五花八門，這是大數(shù)據(jù)時代面臨的巨大風(fēng)險。

　　CIOI：要做好數(shù)據(jù)挖掘，還需要關(guān)注哪些呢？

　　劉德寰：舉個例子說明。有一個女性，突然一改以往的習(xí)慣，開始購買無香型乳液，同時購買某種維他命，微量元素中的鋅和鎂。這三種行為改變結(jié)合在一起說明，這個女性懷孕了。在這個過程中，我們有最基本的人的行為跟蹤以及最基本的社會公共衛(wèi)生知識的了解，這時候商家開始對其進(jìn)行分析和營銷，計算她的預(yù)產(chǎn)期，然后推薦各種嬰兒產(chǎn)品廣告。但是，商家一定要明白，如果這個人知道商家知道她懷孕了，她可能會非常的焦慮，因為她很可能不想被人發(fā)現(xiàn)她懷孕了。這時候，如果商家將嬰兒床的廣告放在稻草機的廣告邊上，然后一起給她，她的焦慮就會大幅降低。

　　這樣才能真正做好數(shù)據(jù)挖掘。首先，生活變，行為才會變，要將關(guān)注點放在變化上。另外，非常重要的一點是，要關(guān)注人性，了解人性，要充分表現(xiàn)出對人的關(guān)懷。

　　CIOI：這也就是你一直說純IT人員無法做好數(shù)據(jù)挖掘的原因吧？

　　劉德寰：對，要做好數(shù)據(jù)挖掘，必須要有市場研究人員、IT人員以及營銷人員通力合作。數(shù)據(jù)建模首先要理解消費者，然后才能建立符合中國人的數(shù)據(jù)模型，要做到這些IT人員需要市場研究人員及營銷人員的幫助。

　　CIOI：對于CIO們真正認(rèn)識大數(shù)據(jù)，你有什么建議？

　　劉德寰：現(xiàn)實互聯(lián)網(wǎng)領(lǐng)域被幾本關(guān)于大數(shù)據(jù)的書籍所累，觀念十分混亂，實際上，人類積累的數(shù)據(jù)經(jīng)驗是一切分析的基礎(chǔ)，包括所謂的海量數(shù)據(jù)，這幾本書的方法論橫空出世，同時又沒有落地，沒有實際操作經(jīng)驗積累，誤導(dǎo)性太強。要在認(rèn)識的過程中，多向自己和他人提出問題，在思想碰撞與交流中促進(jìn)思索，實現(xiàn)更深層次的認(rèn)知。