大數(shù)據(jù)也有黑暗面，what比why重要_數(shù)據(jù)分析師

對(duì)于大數(shù)據(jù)的四個(gè)特性我們當(dāng)然了解，相關(guān)性也找到了，接下來就是如何利用大數(shù)據(jù)創(chuàng)造出價(jià)值?！按髷?shù)據(jù)是什么”，“大數(shù)據(jù)跟我有什么關(guān)系”，這是很多人第一次聽到大數(shù)據(jù)心中所產(chǎn)生的疑問。

據(jù)《30雜志》報(bào)道，麥爾?荀伯格在千余名想了解未來趨勢(shì)的觀眾面前，做了一場(chǎng)精彩易懂的演說，告訴了企業(yè)及民眾，什么是大數(shù)據(jù)。

大數(shù)據(jù)找出相關(guān)性

2009年，全球出現(xiàn)一種新的流感病毒H1N1，當(dāng)時(shí)美國也無法幸免，疾病管制局(CDC)要求第一線的醫(yī)師遇到H1N1流感病例，必須立刻通報(bào)。即使如此，通報(bào)速度仍總是慢一步，會(huì)晚1到2個(gè)星期。這樣的時(shí)效讓疾管局無法掌握真實(shí)情況，對(duì)癥下藥。

當(dāng)時(shí)有幾位Google 工程師在著名的《自然》科學(xué)期刊中發(fā)表了一篇論文。他們透過美國最常使用的前5000萬個(gè)搜尋關(guān)鍵字，再與疾管局2003-2008年間的流感傳播資料加以比對(duì)，用高達(dá)4.5億種不同的數(shù)學(xué)模型，找出這些字出現(xiàn)的頻率、時(shí)間及地點(diǎn)，有沒有統(tǒng)計(jì)上的相關(guān)性(correlation)。最后被他們挖到寶了，這套軟件找出了45個(gè)流感關(guān)鍵字眼，放進(jìn)數(shù)學(xué)模型之后，預(yù)測(cè)結(jié)果與官方公布的真實(shí)資料吻合，有強(qiáng)烈的相關(guān)性。

Google 運(yùn)用這套數(shù)學(xué)模型，再一次精準(zhǔn)地掌握了流感發(fā)生的高峰及地區(qū)，讓防疫工作同步進(jìn)行，不落后。

再說另一例子，天文學(xué)來說，美國太空總署執(zhí)行一項(xiàng)叫史隆數(shù)碼巡天計(jì)劃(Sloan Digital Sky Survey)，從2000年開始，他們用位于美國新墨西哥州的天文望遠(yuǎn)鏡去收集資料，計(jì)劃開始不過幾星期，收到的天文資料量就已超過了過去所有天文學(xué)歷史的總和。到了2010年，這個(gè)計(jì)劃收到了140TB 的資料量。但是接續(xù)的新計(jì)劃，預(yù)計(jì)2016年登場(chǎng)，未來的巡天望遠(yuǎn)鏡在5天內(nèi)，就可收到這些資料量。

荀伯格說，當(dāng)資料進(jìn)入天文數(shù)字時(shí)代，荀伯格提醒：到底大數(shù)據(jù)有多大?其實(shí)不是那么重要，重點(diǎn)是在放大，擴(kuò)大資料量等級(jí)，就能做出少量資料做不到的事。

舉例來說，畫一張馬的圖畫，不是太難的事，但如果畫了很多張馬的圖畫，再以每秒24幀來呈現(xiàn)這些圖畫，就成了動(dòng)畫。這里要強(qiáng)調(diào)的是“量變”產(chǎn)生了“質(zhì)變”，巨量就是這個(gè)道理，量的不同，也改變了本質(zhì)。

what比why重要

量增加了，就出現(xiàn)另一項(xiàng)大數(shù)據(jù)的特色：亂(messy)。巨量資料的內(nèi)容常是混亂不齊，質(zhì)量不一。這是因?yàn)?，巨量資料的收集過程中，它只要一個(gè)大方向即可，不需要講究到一寸、一分?！斑@并不是說我們放棄了精準(zhǔn)這件事，只是不再將精準(zhǔn)奉為圭臬，”荀伯格說。

舉例來說，我們要測(cè)量某個(gè)葡萄園的溫度，如果整片葡萄園只有一支溫度計(jì)，那這支溫度計(jì)就要十分精準(zhǔn)，不能故障，但也意味著它會(huì)很貴。換句話說，就是不能有任何雜亂或出錯(cuò);相反的，如果我們今天在葡萄園里放了100支溫度計(jì)去測(cè)溫度，就可以用便宜一些，簡(jiǎn)單的溫度計(jì)測(cè)出很精準(zhǔn)的溫度。

100支溫度計(jì)代表的是量大，盡管其中幾支可能不那么精準(zhǔn)，但卻可以收集到大量數(shù)據(jù)。比起只靠一支溫度計(jì)來說，更可看到全貌，代表全體。那此時(shí)，一點(diǎn)雜亂就顯得微不足道。

重點(diǎn)又來了，荀伯格忽然站起來向所有在場(chǎng)的觀眾說，大數(shù)據(jù)時(shí)代，資料數(shù)量比資料質(zhì)量更重要。更不要為了一點(diǎn)點(diǎn)信息的偏差而影響了整體分析，想處理掉不精準(zhǔn)的信息，成本會(huì)很高，也沒有必要!

另一個(gè)有趣的例子是沃爾瑪(73.54, 0.00, 0.00%)(Walmart)，他們從龐大的交易記錄上發(fā)現(xiàn)，在颶風(fēng)來襲前，銷量大增的不只是手電筒，還有一種美國小甜點(diǎn) Top-Tarts，店家會(huì)在每次颶風(fēng)來臨前，把一盒一盒的 Top-Tarts放在風(fēng)災(zāi)的必需品架上，方便急忙的顧客一次滿足，“特別是草莓口味的，賣得最好。”

請(qǐng)注意，這里Walmart不去弄清楚為什么颶風(fēng)時(shí)人們特別想吃Top-Tarts，而是把這個(gè)相關(guān)性找出來，直接采取更有利的營銷動(dòng)作。

荀伯格特別強(qiáng)調(diào)，大數(shù)據(jù)時(shí)代，what比why重要。

再舉一個(gè)例子，發(fā)生在他朋友，也是大數(shù)據(jù)專家，任教于華盛頓大學(xué)的教授伊茲奧尼(Oren Etzioni)身上。2003 年時(shí)他想從西雅圖塔機(jī)到洛杉磯參加弟弟的婚禮，他想愈早訂票愈能買到便宜，幾個(gè)月前他就買好了機(jī)票，也覺得買得很便宜。沒想到他在航程中，出于好奇問了隔壁乘客買多少錢，何時(shí)買的。結(jié)果，一問之下，都回答最近才買，且都比他買得便宜，他十分生氣。

下了飛機(jī)后，他決定去好好研究一下購買機(jī)票這件事。他發(fā)現(xiàn)，如果平均票價(jià)呈現(xiàn)下跌，買票就可以慢慢來;如果價(jià)格上揚(yáng)中，你就要先訂票，以免它水漲船高。

伊茲奧尼花了41天的時(shí)間去比對(duì)一旅游網(wǎng)站中超過12000筆的票價(jià)資料，他建立了一個(gè)模型，讓模擬的消費(fèi)者都省下了大筆的機(jī)票錢。在這模型里，消費(fèi)者不懂“為什么(why)”，只知道“正是如此(what)”，消費(fèi)者要決定現(xiàn)在是“買或是不買”。

后來這套模型發(fā)展出創(chuàng)業(yè)計(jì)劃，他創(chuàng)了一個(gè)Farecast網(wǎng)站，消費(fèi)者可以做出最佳判斷，何時(shí)該買，還是不買。

大數(shù)據(jù)與價(jià)值

當(dāng)我們知道了大數(shù)據(jù)的特性，也找到了相關(guān)性，接下來就是靠著它創(chuàng)造出價(jià)值來。

美國西雅圖有一家專門收集車輛實(shí)時(shí)定位的資料公司Inrix，它的資料來自上億臺(tái)的車輛。同時(shí)，它也推出手機(jī) App服務(wù)，通過提供服務(wù)換取特定的司機(jī)資料，包括他們?cè)_車去的地方、天氣及路況等。他們將收到的資料再出售給一家投資基金，該基金根據(jù)大型零售商場(chǎng)附近的路況推測(cè)業(yè)績(jī)，在零售商公布季報(bào)前，搶先決定該買入或賣出。因?yàn)檐嚦本褪清X潮。這就是價(jià)值。

英國的羅爾斯羅伊斯是著名的飛機(jī)引擎制造商，它通過在引擎上安裝了一個(gè)監(jiān)控器，以掌控引擎是否正常運(yùn)轉(zhuǎn)。結(jié)果隨著他們收集到的資料中發(fā)現(xiàn)，當(dāng)引擎出現(xiàn)哪些信號(hào)異常，引擎可能會(huì)發(fā)生問題，這個(gè)監(jiān)控變成了預(yù)測(cè)，大大減少飛安事故。羅爾斯羅伊斯從過去單單的制造引擎公司，轉(zhuǎn)型為服務(wù)咨詢，他們讓數(shù)據(jù)產(chǎn)生出價(jià)值。

荀伯格說了許多大數(shù)據(jù)的美好，但他強(qiáng)調(diào)，大數(shù)據(jù)有其黑暗面：隱私當(dāng)然是一個(gè)該關(guān)注的焦點(diǎn)，但他強(qiáng)調(diào)，更可怕的是各種算法，去預(yù)測(cè)是不是會(huì)患心臟病?或你是否會(huì)犯罪等。有時(shí)，依靠大數(shù)據(jù)做出的演算與預(yù)測(cè)，如果與自由意志不符時(shí)，孰輕孰重?

同時(shí)，我們也擔(dān)心，愈來愈多的企業(yè)會(huì)掌握更多資料，但如此龐大的資料為他們所收集，拿去做了什么?什么用途?不一定能受到監(jiān)督與管理，這是重要議題。

“巨量資料是為人類所掌控，而不是被巨量資料所掌控，”這是荀伯格最后的提醒。