大數(shù)據(jù)時代,別忽視了小數(shù)據(jù)

大數(shù)據(jù)時代，人人都在談?wù)摯髷?shù)據(jù)。從概念認知到場景應(yīng)用，人們似乎正試圖掀起一股數(shù)據(jù)狂潮，這其中就包括了大家熟知的智慧城市、防止犯罪，以及類似于Google對流感趨勢的預(yù)測等等。諸如此類的大數(shù)據(jù)應(yīng)用有些已經(jīng)在發(fā)揮其應(yīng)有的作用，但更多的只是一個夢想。在這些成功的和將要成功的案例背后，到底什么才是大數(shù)據(jù)的本質(zhì)呢？

    隨著過去20年中數(shù)據(jù)挖掘和人工智能的發(fā)展，預(yù)測技術(shù)在2011年已經(jīng)相對成熟，甚至走向廣泛的應(yīng)用，而大數(shù)據(jù)這個概念才剛剛提出。在過去的三到五年中，基于大數(shù)據(jù)的案例比比皆是，其結(jié)果卻喜憂參半。這些失敗的大數(shù)據(jù)項目背后是對大數(shù)據(jù)這一概念過高的預(yù)期，反而讓大家忽視了對問題場景的重視。除此之外，關(guān)聯(lián)數(shù)據(jù)往往也是缺失的，盡管說大數(shù)據(jù)到處都有，但是，真正對你有價值、對決策有意義的數(shù)據(jù)往往并不容易得到，而我們所知的絕大多數(shù)數(shù)據(jù)都是噪音多過價值。

    大數(shù)據(jù)作為一個技術(shù)為我們提供了許多人與人之間交互的數(shù)據(jù)和信息，但是真正的大數(shù)據(jù)并不是一些排名和信息的發(fā)布，而是從數(shù)據(jù)中理性找出內(nèi)在的邏輯關(guān)系，并將這些邏輯關(guān)系應(yīng)用于實踐。如果不找到事物發(fā)展的規(guī)律而永遠“聞數(shù)據(jù)起舞”的話，我們的決策往往會與期望相距甚遠。Google曾通過用戶搜索與感冒相關(guān)的關(guān)鍵詞來預(yù)測流感趨勢，這一基于相關(guān)關(guān)系進行的趨勢預(yù)測一直到2012年前都應(yīng)用得非常完美。但是到了2012年的圣誕節(jié)，Google的預(yù)測比真實數(shù)值高出了整整一倍。

    是什么原因?qū)е铝薌oogle的預(yù)測失誤？2013年的《科學(xué)》上面有一篇文章，幾位教授對這個現(xiàn)象進行了分析，他們的歸納是大數(shù)據(jù)有這樣一些天生的弱點：首當(dāng)其沖的就是“驕傲的大數(shù)據(jù)”——認為大數(shù)據(jù)什么都能做，小數(shù)據(jù)沒有用。事實上，大數(shù)據(jù)的采集遠遠不如小數(shù)據(jù)那樣“干凈”。同時，所有大數(shù)據(jù)的應(yīng)用都離不開算法——“唯一不變的就是永遠在變化的算法”。更重要的是，在Google的案例中，人的行為本身也會隨著大數(shù)據(jù)及其技術(shù)的發(fā)展而改變，僅僅基于數(shù)據(jù)之間的相關(guān)關(guān)系，而忽視內(nèi)在的邏輯關(guān)系，對預(yù)測來講是遠遠不夠的。當(dāng)意識到預(yù)測中存在這樣的問題，就需要人們用大數(shù)據(jù)去獲得規(guī)律，用小數(shù)據(jù)去匹配場景，從而實現(xiàn)精準的預(yù)測和智能的決策。無論是企業(yè)還是個人，先要存積并了解透徹碩大的大數(shù)據(jù)表格中屬于你的那行數(shù)據(jù)，唯有如此，我們才有可能從一滴水里看世界。

    《大數(shù)據(jù)時代》作者認為：“由大數(shù)據(jù)帶來對人的重新認識，不是在阿波羅神廟，而是在小世界網(wǎng)絡(luò)中，認識你自己?！蔽覀儚淖蛱斓臄?shù)據(jù)作用中認識自然、認識宇宙到今天通過大數(shù)據(jù)更多地認識網(wǎng)絡(luò)和社會，我們的認識更加全面、更加深刻、也更加廣泛。但是成就大數(shù)據(jù)的是無數(shù)努力造就小數(shù)據(jù)的人，他們探索大數(shù)據(jù)技術(shù)，認知大數(shù)據(jù)文化，并懷揣著對數(shù)據(jù)的敬畏和對規(guī)律的尊重。