大數(shù)據(jù)與商業(yè)決策之間，究竟是何關(guān)系_數(shù)據(jù)分析師

我們正處于決策成本產(chǎn)生巨變的爆發(fā)點(diǎn)，過(guò)去那些想盡辦法都無(wú)法獲取的數(shù)據(jù)，在今天唾手可得，而當(dāng)有些表面上完全不相關(guān)的行業(yè)數(shù)據(jù)關(guān)聯(lián)起來(lái)時(shí)，居然產(chǎn)生了新的商業(yè)價(jià)值。更重要的是，過(guò)去，我們更多地是帶著問(wèn)題去尋找能夠驗(yàn)證自己觀點(diǎn)的數(shù)據(jù)，而今天我們卻可以使用數(shù)據(jù)去預(yù)測(cè)可能出現(xiàn)的問(wèn)題。海量數(shù)據(jù)可以使人的智慧得到更大的發(fā)揮，并變得更加規(guī)?；４髷?shù)據(jù)的本質(zhì)是人，數(shù)據(jù)研究的極點(diǎn)就是莫測(cè)的人性。我們一旦掌控了數(shù)據(jù)之后的數(shù)據(jù)，就會(huì)擁有制勝未來(lái)商業(yè)的無(wú)敵利器。

 假定數(shù)據(jù)是臟的

在處理數(shù)據(jù)的時(shí)候，會(huì)像污水處理廠一樣，每一步都問(wèn)自己要如何處理這些污水。這種情況的出現(xiàn)，到底是因?yàn)閿?shù)據(jù)源臟了，還是因?yàn)閿?shù)據(jù)提煉過(guò)程做得不好？

美國(guó)有一家初創(chuàng)公司，專注于與地理位置相關(guān)的數(shù)據(jù)收集、整理和查詢服務(wù)。它將地理位置的相關(guān)指標(biāo)，按照酒店和旅館等屬性劃分為不同細(xì)類，對(duì)外提供基于位置信息的實(shí)時(shí)查詢，為包括美國(guó)最大點(diǎn)評(píng)網(wǎng) Yelp在內(nèi)的多個(gè)知名應(yīng)用提供底層數(shù)據(jù)服務(wù)。
       這家公司最令人印象深刻的是，它對(duì)于所收集來(lái)的數(shù)據(jù)會(huì)提供一個(gè)數(shù)據(jù)質(zhì)量評(píng)分，以反映數(shù)據(jù)的可信度和質(zhì)量水平。它會(huì)對(duì)這些數(shù)據(jù)的源頭以及對(duì)處理數(shù)據(jù)階段所用的算法進(jìn)行評(píng)分。也就是說(shuō)，這家公司在提煉數(shù)據(jù)的每一個(gè)階段都進(jìn)行了數(shù)據(jù)化管理。

這家公司的做法讓我們看到了一個(gè)趨勢(shì)，也是一個(gè)非常重要的趨勢(shì)。因?yàn)樗紫纫呀?jīng)接受了數(shù)據(jù)源肯定是臟的和數(shù)據(jù)源一定會(huì)被污染的事實(shí)。所以，它在處理數(shù)據(jù)的時(shí)候，會(huì)像污水處理廠一樣，每一步都問(wèn)自己要如何處理這些污水。這種情況的出現(xiàn)，到底是因?yàn)閿?shù)據(jù)源臟了，還是因?yàn)閿?shù)據(jù)提煉過(guò)程做得不好？這個(gè)過(guò)程我們一定要區(qū)分，而且這樣的區(qū)分是可取的。這家公司是假定數(shù)據(jù)是“臟”的來(lái)做數(shù)據(jù)管理，而不是假定數(shù)據(jù)是穩(wěn)定的。而且，假定數(shù)據(jù)是“臟”的來(lái)處理數(shù)據(jù)，在大數(shù)據(jù)時(shí)代將是一個(gè)非常重要的趨勢(shì)。

事實(shí)上，我們今天在處理的大數(shù)據(jù)，依然只是冰山一角，而更大的數(shù)據(jù)都隱藏在我們的語(yǔ)言中，比如我們說(shuō)的話和寫(xiě)的字。所以，將來(lái)我們要準(zhǔn)確地從互動(dòng)中抓取數(shù)據(jù)，也一定要依賴對(duì)自然語(yǔ)言的處理?，F(xiàn)在，美國(guó)的很多數(shù)據(jù)研究人員都在瞄準(zhǔn)非結(jié)構(gòu)性數(shù)據(jù)，即語(yǔ)言處理這一領(lǐng)域。

學(xué)會(huì)慢慢淡化數(shù)據(jù)

數(shù)據(jù)是有優(yōu)先值的，在數(shù)據(jù)中有些是特別核心的，有些即使缺失了也沒(méi)有多大問(wèn)題。所以，我們要學(xué)會(huì)真正坐下來(lái)盤(pán)點(diǎn)那些對(duì)公司最有價(jià)值、對(duì)用戶最有價(jià)值的數(shù)據(jù)。

想要確定數(shù)據(jù)的優(yōu)先值，就要先解決以下幾個(gè)問(wèn)題。一是數(shù)據(jù)的標(biāo)準(zhǔn)化。在大數(shù)據(jù)時(shí)代，我們需要一個(gè)標(biāo)準(zhǔn)化的東西供我們進(jìn)行交流。二是我們到底如何對(duì)接和交換數(shù)據(jù)，如何在交換的時(shí)候保持?jǐn)?shù)據(jù)的穩(wěn)定性。比如自然語(yǔ)言，比如在無(wú)線和 PC不同場(chǎng)景下受到的影響，這些情況都會(huì)滋生出許多新問(wèn)題。

第三個(gè)重要的問(wèn)題是數(shù)據(jù)的存儲(chǔ)，這將涉及數(shù)據(jù)的時(shí)效性這一問(wèn)題。有人曾經(jīng)提出過(guò)一個(gè)很有價(jià)值的觀點(diǎn)，即現(xiàn)實(shí)中，網(wǎng)站最大的場(chǎng)景變化就是網(wǎng)站改版。因?yàn)橹匦略O(shè)計(jì)網(wǎng)站，本身就影響數(shù)據(jù)，比如公司的詳情頁(yè)和首頁(yè)，任何改變都在影響數(shù)據(jù)。如果在 1~3年后，你才說(shuō)得出數(shù)據(jù)的這一改變是由于促銷、用戶行為或是改版引起的，那這一數(shù)據(jù)就已經(jīng)沒(méi)有任何價(jià)值了，這就是數(shù)據(jù)的時(shí)效性。

所以，美國(guó)出現(xiàn)了一個(gè)概念叫數(shù)據(jù)淡化（ Data Decay），意思很明顯，數(shù)據(jù)會(huì)慢慢淡化。我們要更清楚地認(rèn)識(shí)到，數(shù)據(jù)是有優(yōu)先值的，在數(shù)據(jù)中有些是特別核心的，有些即使缺失了也沒(méi)有多大問(wèn)題。所以我們要學(xué)會(huì)真正坐下來(lái)盤(pán)點(diǎn)那些對(duì)公司最有價(jià)值、對(duì)用戶最有價(jià)值的數(shù)據(jù)，這是一個(gè)非常重要的趨勢(shì)。