大數(shù)據(jù)世界里的謊言與事實

這位先生，您好，您聽過大數(shù)據(jù)么?

不不不，不是鋸大樹的那個鋸...是很大的數(shù)據(jù)，特別大，是今年最流行的，人人都在談的先進(jìn)技術(shù)——您只要用了我們的大數(shù)據(jù)分析方案，保證您的企業(yè)盈利得到前所未有的增長。

嗯?怎么用?那別提有多簡單了，您看，不就是很大量的數(shù)據(jù)嘛，我這里有特別多，可以先撥一點給您用用。

有多大的量?嗯，您看，太多了您也用不著——這樣，我這里一口氣給您兩千條，您也是個爽快人，就一口價，五百，都在這個U盤里了。

誒?什么?這個U盤就值10塊錢?不不不，這里可是有價值連城的數(shù)據(jù)， 現(xiàn)在這個數(shù)據(jù)驅(qū)動的時代，數(shù)據(jù)就是財產(chǎn)，就是金錢啊 !

這樣，我盼著您以后還要和我們多合作來著，就二百五，給您打個對折，您覺得好我們可以繼續(xù)合作……

什么?你說我才是二百五?

欸欸!我們談生意你怎么動起手來了?別打人啊你?

……

02

據(jù)說是著名的產(chǎn)品經(jīng)理圣經(jīng)《Don't make me think》(別讓我思考)里有這樣一個有意思的場景：

“一次宗教辯論”

產(chǎn)品經(jīng)理，技術(shù)經(jīng)理和市場銷售在一起為了一個產(chǎn)品的功能開會。對于功能A，產(chǎn)品經(jīng)理覺得很有必要做，他想問問技術(shù)和銷售的看法。

技術(shù)方面認(rèn)為功能A的開發(fā)難度與回報率不成正比，因此強(qiáng)烈反對此功能。銷售方面卻認(rèn)為功能A的反響也許會不錯，至少比現(xiàn)存的功能B要受到客戶歡迎，卻也沒有辦法拿出切實的證據(jù)，比如到底有多少用戶希望有這樣一個新功能。

由于技術(shù)是開發(fā)的主要實現(xiàn)者，無法說服技術(shù)，于是關(guān)于這個功能的談判不歡而散，這又是一次“無效的會議”。

試想一下兩種不同的說法：

1.因為在街上許多人都對我很友善，因此我認(rèn)為大多數(shù)人都喜歡我。

2.根據(jù)在街上隨機(jī)抽樣10000人的結(jié)果顯示，里面的8000個人表達(dá)了對我的喜歡，因此我認(rèn)為大多數(shù)人都喜歡我。

哪一個更有說服力呢?拋開隨機(jī)抽樣的科學(xué)性和偶然性不談，顯然第二個說法更有說服力， 因為比起第一個“感覺上”的說法，至少它提供了一定的“證據(jù)”。

再想想最開始書中的那個例子，如果銷售能夠提供有力的數(shù)據(jù)證據(jù)證明這個功能受歡迎，或者技術(shù)能夠證明開發(fā)這個功能得不償失，這個會議就很容易達(dá)成有效的結(jié)果。

數(shù)據(jù)思維，也可以說是量化思維，它的核心在于“以數(shù)據(jù)為證據(jù)”。數(shù)據(jù)思維，實際上就是把數(shù)據(jù)作為事實的一種，作為思維決策的依據(jù)。

所以什么是數(shù)據(jù)時代思維的核心呢?

現(xiàn)在對于各種機(jī)器學(xué)習(xí)和人工智能鋪天蓋地的宣傳，有可能會給人一個錯誤的印象：制造一個機(jī)器或程序，集成一堆牛逼的算法，給它一堆大數(shù)據(jù)，它就能回答你與這些數(shù)據(jù)有關(guān)的有的沒的的問題。

就好像是存在一個萬能的黑箱，你輸入一堆關(guān)于自己的生辰八字，住址戶籍，身高體重等等信息，然后你問它：

“萬能的數(shù)據(jù)之神呀，你覺得我怎樣才能讓我走上人生巔峰，讓思聰都要叫我爸爸呢?”

醒醒吧孩子，你需要被這個世界溫柔以待...

03

回想我們之前說的，數(shù)據(jù)是一種“事實”或者“證據(jù)”。 有一些“事實”和“證據(jù)”很直接，不需要復(fù)雜的判斷你就能給出結(jié)果：

湯姆與杰瑞

比如作為一只老鼠，它知道奶酪好，貓壞，如果有奶酪出現(xiàn)就可以吃，有貓出現(xiàn)就要跑。這里”奶酪出現(xiàn)”和“貓出現(xiàn)”都是事實，根據(jù)這個事實，老鼠就可以進(jìn)行簡單的判斷。

有些時候，數(shù)據(jù)的片段能夠作為“事實”，很輕易構(gòu)成完整的邏輯鏈：

比如聊天系統(tǒng)顯示，你一直和一個女生溝通很頻繁，每天有超過200條聊天數(shù)據(jù)，最近這個數(shù)據(jù)突然上升到300;你的搜索記錄顯示你頻繁搜索“第一次見面“這個關(guān)鍵詞;淘寶的交易記錄還顯示你買了一些安全類產(chǎn)品，就在后天寄到。

綜上所述，我能90%地肯定，你最近要和一個曖昧已久的妹子見面了。

你懂的

怎么樣?要是你把這些事情和我說一遍，我也八九不離十能猜到你最近要和一個曖昧已久的妹子見面。然而在這個例子里，你并沒有告訴我你要做這些事兒， 只是你的行為被轉(zhuǎn)化成了數(shù)據(jù)，成為了我做推斷的事實 。

知道為什么你的網(wǎng)頁左右兩邊時常出現(xiàn)你想要買的東西的廣告了嗎?如這個例子一樣，你平時在網(wǎng)頁上點點點，搜索引擎框里搜搜搜的這些行為，都被轉(zhuǎn)化成了數(shù)據(jù)，從而出賣了你的想法。

有一個著名的案例叫“Target超市比父母更早知道你的女兒懷孕”。這個案例講的是因為女兒在Tareget超市中購買的物品的數(shù)據(jù)被經(jīng)過分析，得出了女兒大概在什么時候懷孕，從而提前開始向家里寄廣告。這導(dǎo)致一開始父母都不知道為什么，后來才恍然大悟。

數(shù)據(jù)時代的一個重大變化就在于： 那些平日里被我們認(rèn)為沒有意義的舉動或者瞬間，實際上都被事無巨細(xì)地轉(zhuǎn)化成數(shù)據(jù)，保留成事實，從而用來有效地推斷你的行為。

04

當(dāng)零零散散的數(shù)據(jù)被記錄下來，最終構(gòu)成一個龐大的集合， 比起之前那個脈絡(luò)清晰的個人分析，你發(fā)現(xiàn)想要從這個集合中獲取有價值的特征信息變難了。

舉個例子，在一個龐大的數(shù)據(jù)系統(tǒng)中，記錄了每個人的相關(guān)身份信息以及信用違約記錄，這個數(shù)據(jù)系統(tǒng)里有1000萬條數(shù)據(jù)，雖然還遠(yuǎn)遠(yuǎn)稱不上“大數(shù)據(jù)”，然而早已超出了人力能夠觀察承受的范圍。

這個時候，我們就需要利用一些數(shù)據(jù)分析的技術(shù)——你所聽到的統(tǒng)計分析，神經(jīng)網(wǎng)絡(luò)，等等等等，都屬于這樣一個范疇。在此本狗不深究分析的技術(shù)細(xì)節(jié)，但想要高度概括地表達(dá)一下：

所有的技術(shù)，都是用來輔助你表達(dá)對于數(shù)據(jù)的觀點，如同我們通過觀察現(xiàn)象，從而表達(dá)對事實的觀點一樣。

數(shù)數(shù)，是人類最早掌握的關(guān)于統(tǒng)計的，最簡單的技巧，光用這一點，人們就已經(jīng)開始利用觀察到的數(shù)據(jù)證明事實。

比如著名的“世界上沒有黑天鵝”的例子：相比于見到黑天鵝的人，見到白天鵝的人實在是太多了，因此人們利用“數(shù)數(shù)”，將這樣一個數(shù)據(jù)組成一個集合，作為說服人的依據(jù)——我已經(jīng)遇到了9999個見到白天鵝的人，沒有人見到黑天鵝，因此下一只見到的天鵝也一定是白的。

黑天鵝

一些更復(fù)雜的技巧與方法，能體現(xiàn)出“事實之下的事實”，跨越了“數(shù)量”這樣給人最直觀感覺的事實。平均數(shù)，眾數(shù)，期望等——能體現(xiàn)不同標(biāo)準(zhǔn)下最有可能出現(xiàn)的事實;方差，標(biāo)準(zhǔn)差——體現(xiàn)事實的變動程度。

再往下，人們嘗試尋找事實的“分布”，也就是事實出現(xiàn)的一般規(guī)律。再深一點，人們開始意識到事情并不是A喜歡B，B喜歡C，那么A喜歡C那么簡單，于是出現(xiàn)了事實之間的線性，非線性關(guān)系，從數(shù)據(jù)進(jìn)行推斷，表達(dá)觀點的過程變得越來越復(fù)雜。

但最終說了這么多，我們再回到最開始 —— “數(shù)據(jù)分析”，是用數(shù)據(jù)作為事實證據(jù)，從而來表達(dá)觀點的過程。如同一般講道理，表達(dá)觀點的思維一樣，我們永遠(yuǎn)需要疑問的兩點是：

1.作為事實的數(shù)據(jù)值得信賴嗎? (比如黑天鵝的例子，我們觀察到的數(shù)據(jù)并不是事實的全部，然而事實上人們常常使用錯誤的數(shù)據(jù)嘗試證明一個看似正確實則錯誤的觀點)

2.表達(dá)觀點的過程有道理嗎? (不管是多高級的方法，支持向量機(jī)，AlphaGo用的深度學(xué)習(xí)網(wǎng)絡(luò)等等，都是需要有一個符合直覺的解釋，就像是我們利用事實講道理一樣)

為此，人們又研究發(fā)明了許多方法來證明這兩點，從而證明整個利用數(shù)據(jù)推斷的過程都是可以信賴的，最終才能證明得到的結(jié)論值得信賴。然而這些都是后話了，有興趣的讀者可以自行搜索交叉驗證，P值，置信區(qū)間等等關(guān)鍵詞。

只要明白這兩點，你就能逐漸開始明白大數(shù)據(jù)世界中的謊言與事實，開始漸漸明白數(shù)據(jù)思維的樂趣。