大數(shù)據(jù)時(shí)代：數(shù)據(jù)和算法，誰更重要？

我知道很多人自始至終都認(rèn)為數(shù)據(jù)是越多越好，即大數(shù)據(jù)越大越好，Google甚至直言：更多的數(shù)據(jù)勝過更好的算法，而過去很多偵探劇中崇尚“信息越多，就越靠近真相”的刑偵金句也似乎佐證這一點(diǎn)。

而事實(shí)上，我的觀點(diǎn)是，數(shù)據(jù)只是基礎(chǔ)，如何建構(gòu)起有效的算法、模型比數(shù)據(jù)本身更重要，最起碼對目前而言是這樣的。持與我相近觀點(diǎn)的大有人在，如《The Signal and the Noise》(信號與噪聲，作者Nate Silver)這本書里面的一個(gè)觀點(diǎn)是“更多的數(shù)據(jù)意味著更多的噪聲。信號是真相，噪聲卻使我們離真相越來越遠(yuǎn)。”

每種觀點(diǎn)都有自己的理據(jù)，所以我們不能片面地去判斷說哪種觀點(diǎn)對與錯(cuò)。就大數(shù)據(jù)這個(gè)事情而言，我認(rèn)為Google是一個(gè)理想主義者，而Nate Silver則是一個(gè)實(shí)用現(xiàn)實(shí)主義者。

理想中的大數(shù)據(jù)的終極形態(tài)是不用構(gòu)建模型，或者說已經(jīng)構(gòu)建了全模型，不用針對每次分析的目的去單獨(dú)建模，數(shù)據(jù)自身會從數(shù)據(jù)特性，規(guī)律去進(jìn)行邏輯性分析(非數(shù)理分析)，人們只需要將所有數(shù)據(jù)輸入，機(jī)器就能告訴人們這些數(shù)據(jù)中，哪些數(shù)據(jù)說明了什么問題，大數(shù)據(jù)的輸出成果將不是一份報(bào)告，而是一個(gè)體系，沒有一份報(bào)告能容納如此多的結(jié)果。到了那個(gè)時(shí)候，確實(shí)是更多的數(shù)據(jù)勝過更好的算法，因?yàn)槟菚r(shí)候已經(jīng)沒有了算法，沒有什么是不能計(jì)算的。

但現(xiàn)實(shí)是，我們目前的大數(shù)據(jù)離理想中的大數(shù)據(jù)形態(tài)還有很遠(yuǎn)的距離。

我們先看一個(gè)通過數(shù)據(jù)分析來輔助營銷的例子。你要推廣一個(gè)旅游產(chǎn)品，比如說是一個(gè)旅游攻略的APP，你第一反應(yīng)肯定是去旅行社、戶外網(wǎng)站去收集數(shù)據(jù)，去展開宣傳，去鋪開銷售吧?這當(dāng)然對，但問題是，經(jīng)常旅游的人很可能已經(jīng)不需要你旅游產(chǎn)品的指導(dǎo)，他們有更多的出游經(jīng)驗(yàn)，他們有更多的團(tuán)隊(duì)合作，他們可能更傾向個(gè)體出行。而不經(jīng)常出沒在戶外網(wǎng)站的人，不經(jīng)常搜索旅游相關(guān)信息的人，他們心中對旅行的渴望也許是很強(qiáng)烈的。從數(shù)據(jù)的維度來看，從旅行社、戶外網(wǎng)站收集到的客戶信息當(dāng)然是比大眾市場上得到的客戶信息的維度要多，顆粒度要細(xì)，信息更非結(jié)構(gòu)化，更稱得上“大數(shù)據(jù)”，但顯然，通過這些更大的數(shù)據(jù)卻未必能支撐你找到更多有需求的客戶。當(dāng)然，你也許會說在強(qiáng)關(guān)聯(lián)的小圈子里找到客戶的單位成本遠(yuǎn)比漫無邊界地挖掘客戶的單位成本要低。但我只是用這個(gè)例子去說明，更多的信息未必能指向更明確結(jié)果，如何建構(gòu)一個(gè)合理的模型(利用有限的數(shù)據(jù)去做最有效的分析)，遠(yuǎn)比找到一個(gè)新的數(shù)據(jù)源要重要得多。

目前的大數(shù)據(jù)與理想中的大數(shù)據(jù)形態(tài)的距離并不在于數(shù)據(jù)源的多少上，數(shù)據(jù)源從來不是問題，問題是在于我們?nèi)绾稳ソ?gòu)一個(gè)科學(xué)合理的分析模型，并相信、堅(jiān)持分析模式的輸出結(jié)果。通過不斷地修正、累積各種正確的分析模型，我們將不斷接近理想形態(tài)。

而很不幸的是，有時(shí)候現(xiàn)實(shí)與之背道而馳。

分析員總是習(xí)慣帶著預(yù)設(shè)去分析，他們會自覺不自覺地以對自己有利的方式對這些數(shù)據(jù)進(jìn)行分析和解釋，而哪怕這些方式很可能與這些數(shù)據(jù)所代表的客觀現(xiàn)實(shí)不相吻合。出于各種原因，分析員很難從干擾他們的噪聲中分辨出有用的信號，甚至?xí)o視這些真實(shí)有用的信號。于是，數(shù)據(jù)展示給他們的通常都是他們想要的結(jié)果，而且他們通常也能確保這些數(shù)據(jù)令大家皆大歡喜。同時(shí)，我們天真的相信各種預(yù)測分析模型，卻沒有人認(rèn)真地去驗(yàn)證這些模型是否科學(xué)合理，是否與事實(shí)相符，也許這些模型在進(jìn)行架設(shè)選擇時(shí)根本不堪一擊。

我對此感同身受。我曾經(jīng)為不同省份的移動公司做過各種形式的經(jīng)分，給我最大的感受就是，我們不是要用數(shù)據(jù)去發(fā)現(xiàn)問題，找到解決問題的方法，而是我們要用數(shù)據(jù)去支持領(lǐng)導(dǎo)的觀點(diǎn)，一旦結(jié)果與領(lǐng)導(dǎo)觀點(diǎn)相悖時(shí)，模型是可以調(diào)整，數(shù)據(jù)可以調(diào)整，口徑可以調(diào)整，只有領(lǐng)導(dǎo)的觀點(diǎn)不能動，不能變。具體的過程是，剛開始時(shí)我們通過經(jīng)驗(yàn)建構(gòu)了分析模型，模型只需要三組數(shù)據(jù)，但很不幸無法支撐領(lǐng)導(dǎo)的觀點(diǎn)，進(jìn)而增加到五組，依然無法得出想要的結(jié)論，進(jìn)而想方設(shè)法增加到十組，并開始調(diào)用不同的分析模型，費(fèi)盡九牛二虎之力，終于在用某模式導(dǎo)入XXYY數(shù)據(jù)時(shí)，出來的結(jié)果剛好與領(lǐng)導(dǎo)的觀點(diǎn)一致，好吧，終于天亮了，終于可以定稿了，終于可以各自回家睡覺了。一覺醒來后開始宣揚(yáng)，我們充分調(diào)用了N多的數(shù)據(jù)，并創(chuàng)新性地使用了X模型，得出某某結(jié)論，與領(lǐng)導(dǎo)觀點(diǎn)不謀而合。

這就是分析員的困境，而這種困境是目前分析工作的常態(tài)，也許壓力不是來自于領(lǐng)導(dǎo)，但也有可能來自于市場的壓力，個(gè)人績效的壓力，時(shí)間精力的有限，經(jīng)驗(yàn)和知識的匱乏，甚至是內(nèi)心無法言明的情緒等。

這個(gè)世界自從有了印刷機(jī)，信息的傳遞不再局限，信息變得不再那么稀有，后來有了互聯(lián)網(wǎng)，信息開始爆炸式增長，我們擁有的信息太多，甚至多到無從下手，但事實(shí)上是有用的信息寥寥無幾。沒有科學(xué)、經(jīng)過驗(yàn)證的模型支持，我們往往主觀地、有選擇的看待信息，對信息的曲解卻關(guān)注不夠，于是，當(dāng)我們把越來越多的信息塞進(jìn)越來越臃腫的模型，我們以為我們將看到更多真相，而事實(shí)是很多只是假相。