客觀利用"大數(shù)據(jù)" 不要變成"大錯誤"_數(shù)據(jù)分析師

大數(shù)據(jù)時代已經(jīng)來臨，但大數(shù)據(jù)并非無所不能。其核心不在規(guī)模大，它蘊含的是計算和思維方式的轉(zhuǎn)變，過于樂觀和簡單的理解，都可能助長“大數(shù)據(jù)迷信”

得益于移動互聯(lián)網(wǎng)以及智能手機、智能穿戴產(chǎn)品的發(fā)展，人們的行為、位置甚至身體的生理特征等數(shù)據(jù)都可以便捷地被記錄，使得大數(shù)據(jù)的采集成為可能。

這一新的數(shù)據(jù)形態(tài)產(chǎn)生的價值，比如神奇的趨勢預測能力被公眾廣泛討論，成為不少商家宣傳營銷的賣點。從汽車、化妝品到體育，似乎所有行業(yè)都可以借助大數(shù)據(jù)，精確定位、找到消費者，預測趨勢、贏得未來。

在支持者看來，大數(shù)據(jù)的能耐在于每一個數(shù)據(jù)點都可以被捕捉到。分析大數(shù)據(jù)就能推導出驚人準確的結(jié)果，經(jīng)典的抽樣統(tǒng)計方法面臨淘汰。同時，數(shù)據(jù)已經(jīng)大到能夠自己說話，“數(shù)據(jù)背后的原因不再重要，人們只需要知道數(shù)據(jù)之間有統(tǒng)計相關性就行”，理論可能就此終結(jié)。

毋庸置疑，規(guī)模更大、更新更快的大數(shù)據(jù)擁有深刻的洞察力，也將帶來價值，但認為有了大數(shù)據(jù)就無所不能，卻過于樂觀和簡單。

首先，幾百年的統(tǒng)計學發(fā)展史已經(jīng)告訴我們，通過統(tǒng)計數(shù)據(jù)來認知現(xiàn)實世界從來都不能盡善盡美，現(xiàn)實中存在的樣本誤差和偏差等種種“陷阱”，不是單單依靠更大、更新、更快的數(shù)據(jù)就可以解決。

其次，大數(shù)據(jù)價值密度低、內(nèi)容混雜，找到“貨真價實”的信息已屬不易。而“知其然，不求知其所以然”，只考慮純粹相關性，不注重數(shù)據(jù)與結(jié)論之間因果關系的分析方法，在現(xiàn)實中往往經(jīng)不起推敲。比如，理論上可以通過分析上的每一次發(fā)言，推斷出某一事件引發(fā)的公共情緒，但不可忽視的是，微博活躍用戶只能代表他們自己，并不代表更廣泛的群體。

尤其不能忽視的是，目前許多數(shù)據(jù)仍處于“孤島”狀態(tài)，單一或少數(shù)領域的大數(shù)據(jù)不僅價值有限，還存在片面性的危險。只有數(shù)據(jù)跨越了行業(yè)領域間的界限，關聯(lián)性加強時，數(shù)據(jù)的準確性才會提高。打通數(shù)據(jù)“孤島”，融合數(shù)據(jù)還要走很長的路。另外，數(shù)據(jù)的收集、存儲和搬運雖然越來越便利，但從技術上看，如何從海量數(shù)據(jù)中淘出有價值的信息，還缺少強大的工具。

毫無疑問，大數(shù)據(jù)時代已經(jīng)來臨，但大數(shù)據(jù)并非無所不能。大數(shù)據(jù)的核心不在規(guī)模大，它蘊含的是計算和思維方式的轉(zhuǎn)變，過于樂觀和簡單的理解，都可能助長“大數(shù)據(jù)迷信”。比較切實的態(tài)度或許是，在尊重傳統(tǒng)的統(tǒng)計經(jīng)驗基礎上，在不矮化大數(shù)據(jù)是“舊瓶裝新酒”的同時，不迷信大數(shù)據(jù)，善用大數(shù)據(jù)。否則，帶著“數(shù)據(jù)自己可以說出結(jié)論”的謬識，就可能掉進了數(shù)據(jù)的“陷阱”，從而使大數(shù)據(jù)產(chǎn)生“大錯誤”。