大數(shù)據(jù)時代，別忽視了小數(shù)據(jù)_數(shù)據(jù)分析師培訓

大數(shù)據(jù)時代，人人都在談論大數(shù)據(jù)。從概念認知到場景應用，人們似乎正試圖掀起一股數(shù)據(jù)狂潮，這其中就包括了大家熟知的智慧城市、防止犯罪，以及類似于google對流感趨勢的預測等等。諸如此類的大數(shù)據(jù)應用有些已經在發(fā)揮其應有的作用，但更多的只是一個夢想。在這些成功的和將要成功的案例背后，到底什么才是大數(shù)據(jù)的本質呢？

隨著過去20年中數(shù)據(jù)挖掘和人工智能的發(fā)展，預測技術在2011年已經相對成熟，甚至走向廣泛的應用，而大數(shù)據(jù)這個概念才剛剛提出。在過去的三到五年中，基于大數(shù)據(jù)的案例比比皆是，其結果卻喜憂參半。這些失敗的大數(shù)據(jù)項目背后是對大數(shù)據(jù)這一概念過高的預期，反而讓大家忽視了對問題場景的重視。除此之外，關聯(lián)數(shù)據(jù)往往也是缺失的，盡管說大數(shù)據(jù)到處都有，但是，真正對你有價值、對決策有意義的數(shù)據(jù)往往并不容易得到，而我們所知的絕大多數(shù)數(shù)據(jù)都是噪音多過價值。

大數(shù)據(jù)作為一個技術為我們提供了許多人與人之間交互的數(shù)據(jù)和信息，但是真正的大數(shù)據(jù)并不是一些排名和信息的發(fā)布，而是從數(shù)據(jù)中理性找出內在的邏輯關系，并將這些邏輯關系應用于實踐。如果不找到事物發(fā)展的規(guī)律而永遠“聞數(shù)據(jù)起舞”的話，我們的決策往往會與期望相距甚遠。google曾通過用戶搜索與感冒相關的關鍵詞來預測流感趨勢，這一基于相關關系進行的趨勢預測一直到2012年前都應用得非常完美。但是到了2012年的圣誕節(jié)，google的預測比真實數(shù)值高出了整整一倍。

是什么原因導致了google的預測失誤？2013年的《科學》上面有一篇文章，幾位教授對這個現(xiàn)象進行了分析，他們的歸納是大數(shù)據(jù)有這樣一些天生的弱點：首當其沖的就是“驕傲的大數(shù)據(jù)”――認為大數(shù)據(jù)什么都能做，小數(shù)據(jù)沒有用。事實上，大數(shù)據(jù)的采集遠遠不如小數(shù)據(jù)那樣“干凈”。同時，所有大數(shù)據(jù)的應用都離不開算法――“唯一不變的就是永遠在變化的算法”。更重要的是，在google的案例中，人的行為本身也會隨著大數(shù)據(jù)及其技術的發(fā)展而改變，僅僅基于數(shù)據(jù)之間的相關關系，而忽視內在的邏輯關系，對預測來講是遠遠不夠的。當意識到預測中存在這樣的問題，就需要人們用大數(shù)據(jù)去獲得規(guī)律，用小數(shù)據(jù)去匹配場景，從而實現(xiàn)精準的預測和智能的決策。無論是企業(yè)還是個人，先要存積并了解透徹碩大的大數(shù)據(jù)表格中屬于你的那行數(shù)據(jù)，唯有如此，我們才有可能從一滴水里看世界。

“由大數(shù)據(jù)帶來對人的重新認識，不是在阿波羅神廟，而是在小世界網絡中，認識你自己?！蔽覀儚淖蛱斓臄?shù)據(jù)作用中認識自然、認識宇宙到今天通過大數(shù)據(jù)更多地認識網絡和社會，我們的認識更加全面、更加深刻、也更加廣泛。但是成就大數(shù)據(jù)的是無數(shù)努力造就小數(shù)據(jù)的人，他們探索大數(shù)據(jù)技術，認知大數(shù)據(jù)文化，并懷揣著對數(shù)據(jù)的敬畏和對規(guī)律的尊重。