在大數(shù)據(jù)中找到別人的“集體智慧”

最近，我去了一趟美國，看到大數(shù)據(jù)領(lǐng)域的幾個變化，這些變化有可能極大地改變世界。

第一個變化是開始從被動搜集數(shù)據(jù)，轉(zhuǎn)變?yōu)橹鲃铀鸭瘮?shù)據(jù)。

美國一家公司現(xiàn)場給我們表演，電視里正在播放新聞，他們把手機放在電視機旁，手機很快識別出這是CNN新聞頻道，以及正在播出什么內(nèi)容。我們?nèi)齻€人拿出自己的手機，手機同時放三首不同的歌，他們的軟件很快辨別出這三首歌是什么，以及作為背景正在播放的電視新聞。這意味著，非結(jié)構(gòu)性的數(shù)據(jù)編程結(jié)構(gòu)性數(shù)據(jù)，開始從被動搜集數(shù)據(jù)轉(zhuǎn)變?yōu)橹鲃铀鸭瘮?shù)據(jù)。

第二個變化是非實時轉(zhuǎn)實時。

滴滴打車的數(shù)據(jù)可以說明不同地點的人流情況，但是零售業(yè)得到了這些數(shù)據(jù)，又如何觸到它的用戶群呢？大家知道這個世界有一個，DSP（Demand－Side Platform 需求方平臺），作為中間方，DMP記錄用戶去了哪個網(wǎng)站，用了什么APP。當(dāng)人使用APP時，數(shù)據(jù)會告訴DSP，這個人出現(xiàn)在了某一個地方，DSP就能夠幫商戶做智能投放。由于背后有大數(shù)據(jù)支撐，投放在很短的時間內(nèi)就能完成。這種模式對營銷來說，絕對是一個顛覆。

還有一個非常重要的變化是對話。

美國有兩大公司，幾乎同時宣布了一項戰(zhàn)略性科技——對話的人工智能。比如，你的房間有一個音響，這個音響同時是一個傳感器。當(dāng)你說“我要買一瓶醬油”，音響會和你說：“老板，你是不是要買你之前買過的醬油？”你說：“不是，我要買新的。”它就會告訴你，新的醬油以及同樣差不多的有幾種，建議你選擇哪種。這個變化將引發(fā)一個大的顛覆。

隱私+歸屬權(quán)：從混沌走向清晰

說到大數(shù)據(jù)，不得不提的是大數(shù)據(jù)與隱私這個問題。

這次在美國，我見到了一位在隱私問題上給美國總統(tǒng)提意見的專家。他說，關(guān)于個人隱私會有一個顛覆性的變化，這一變化在歐洲已經(jīng)開始了，現(xiàn)在是美國。過去，當(dāng)用戶使用一個應(yīng)用時，都會和應(yīng)用方簽訂一個協(xié)議，表明用戶同意把自己的數(shù)據(jù)交給應(yīng)用方以改善用戶體驗。但是，大部分人都不知道自己同意的是什么，僅僅是點擊了“同意”。美國的法律對此準(zhǔn)備進行修改，這可能會改變大數(shù)據(jù)產(chǎn)業(yè)。

在這個變化中有個問題，數(shù)據(jù)分可識別數(shù)據(jù)、不可識別數(shù)據(jù)?；ヂ?lián)網(wǎng)上的數(shù)據(jù)，有的可以識別是你，有的不可以識別是你。當(dāng)不能完全知道他是誰，沒有辦法和他說你是否同意時該怎么辦？現(xiàn)在，美國正在認(rèn)真討論類似的事情。

另一個問題是數(shù)據(jù)的擁有權(quán)是誰？早期大家是按照實物的思路，來定義數(shù)據(jù)擁有權(quán)的法律，后來發(fā)現(xiàn)這條路撞墻了。數(shù)據(jù)的可愛之處就是看見就看見了，不在于是你拿著還是我拿著。法律界已經(jīng)開始關(guān)注這個問題。

關(guān)于隱私問題，大部分用戶更多是希望平衡好，你不能拿到我的數(shù)據(jù)我一點好處都沒有，你拿了數(shù)據(jù)使用我卻一點都不知道。所以，問題是誰有權(quán)控制？比如臉書，每一次使用用戶數(shù)據(jù)，會告訴用戶，這個數(shù)據(jù)會在某個點使用，這就涉及數(shù)據(jù)使用透明和是否可控的權(quán)利問題。這個行業(yè)里面很多人不想講這個問題，但并不是不知道。這是我們做大數(shù)據(jù)的人必須要慢慢解決的，否則這是一個定時炸彈。

當(dāng)然，有大量的數(shù)據(jù)不相關(guān)隱私。比如，用1000個人或者5000個人的數(shù)據(jù)算出來的結(jié)果，當(dāng)做大數(shù)據(jù)營銷的時候，有沒有把他捆綁在5000個人當(dāng)中營銷？美國有些法案很可愛，認(rèn)定個人數(shù)據(jù)的隱私問題不是放在單獨的案例當(dāng)中，而是放在行業(yè)里面。我問專家，為什么要放在行業(yè)里面？他說，個人隱私和行業(yè)有關(guān)，比如賣藥的，個人隱私的監(jiān)管就會非常嚴(yán)格，而游戲類的個人數(shù)據(jù)會相對簡單一些。在歐洲則是一套法律，不分行業(yè)。歐洲人認(rèn)為，隱私是一個人的底線。而美國認(rèn)為價值和隱私之間可平衡。這些都是未來大家都會議論的課題。

做好縫合，不斷迭代

大數(shù)據(jù)的本身是異構(gòu)異類的數(shù)據(jù)，就像裁縫把不同的材料縫成一件衣服一樣，需要很多技術(shù)把數(shù)據(jù)連接起來，讓這些數(shù)據(jù)可以使用。不同材料縫合在一起，中間會有一些縫合處。

美國任何一個做大數(shù)據(jù)的人，都會告訴你數(shù)據(jù)關(guān)聯(lián)很難。美國可以把數(shù)據(jù)關(guān)聯(lián)起來的公司有幾家。美國大數(shù)據(jù)行業(yè)在產(chǎn)業(yè)鏈上，是可以分工的。你干這個，我干那個，大家協(xié)同把東西做出來。這和中國的情況是有區(qū)別的。

要把大數(shù)據(jù)整合起來，數(shù)據(jù)源好不好非常重要。另外有沒有不同的環(huán)境可以進行數(shù)據(jù)測試，也很重要。

數(shù)據(jù)是迭代的，算法是迭代的，產(chǎn)品服務(wù)也是迭代的。數(shù)據(jù)有不同的版本、算法有不同的版本，我們要找到最優(yōu)、同一個語境下最好的算法，達到最好的服務(wù)。

將大數(shù)據(jù)變成企業(yè)的洞察力和行動力

對于企業(yè)來說，需要將大數(shù)據(jù)變成企業(yè)的洞察力、行動力。10年前，商業(yè)決策都是靠經(jīng)驗驅(qū)動，用數(shù)據(jù)證明自己的判斷是對的。而數(shù)據(jù)驅(qū)動，則要擁有足夠的數(shù)據(jù)，通過數(shù)據(jù)發(fā)現(xiàn)一些以前沒有看到的東西。

比如，有一些人在購物網(wǎng)站搜索過的關(guān)鍵詞，兩個月后會成為比較流行的關(guān)鍵詞。當(dāng)我們深入分析時，數(shù)據(jù)會告訴我們，購物里面是有達人的，購物達人看的東西和普通人不一樣，他們有自己的方法尋找自己想要的商品。如果能跟蹤這些達人，就可以找到用一般推薦引擎無法找到的東西。

一個學(xué)習(xí)的完整體系，簡單來講，首先有目標(biāo)定義，之后進行決策、行動、拿到行動結(jié)果之后學(xué)習(xí)。人類學(xué)習(xí)的一般方法，都是根據(jù)這個鏈路進行，這叫“自學(xué)習(xí)”：用自己的經(jīng)驗慢慢積累，進行一個自我循環(huán)。

當(dāng)我們開始做大數(shù)據(jù)的時候，你會發(fā)現(xiàn)，別人的數(shù)據(jù)會成為你的經(jīng)驗。你也可以把別人的數(shù)據(jù)代入自己的決策，學(xué)習(xí)到別人的經(jīng)驗，這叫“集體智慧”。在大數(shù)據(jù)當(dāng)中，我們可以找到別人的集體智慧。

大數(shù)據(jù)里的創(chuàng)新，可以有三個層面：數(shù)據(jù)的創(chuàng)新、算法的創(chuàng)新、服務(wù)的創(chuàng)新。

下面這張圖中有四個坐標(biāo)：數(shù)據(jù)集中、數(shù)據(jù)分散、問題清楚、問題不清楚。過去我們可以解決的是數(shù)據(jù)集中、問題很清楚的部分，后來開始出現(xiàn)很多碎片化、分散的數(shù)據(jù)，我們發(fā)現(xiàn)可以用零散的、沒有集合、沒有結(jié)構(gòu)化的數(shù)據(jù)，更好地解決原來的問題。

舉一個例子，有一個網(wǎng)站雖然有幾億用戶群，但只有幾百萬人買彩票。如何找到更多用戶到這個網(wǎng)站上買彩票呢？按以往的方法，先描述買彩票的人是什么樣的，經(jīng)驗認(rèn)為男的比較喜歡買彩票，年紀(jì)應(yīng)該是25-35歲。而用大數(shù)據(jù)的方法，則是想猜用戶下一步想做什么，可以看4周之內(nèi)用戶有沒有看過彩票的內(nèi)容，如果有，那他就是一個希望要買彩票的人，只是沒有在網(wǎng)站里買。用這個思路，我們發(fā)現(xiàn)買彩票的女性比男性多，而且往往是在辦公室里買的多。這樣一來，數(shù)據(jù)就指明了哪些人在哪些地點是最好去做營銷的。

對于數(shù)據(jù)零散且問題不是很清楚，大數(shù)據(jù)同樣可以解決。比如在面對不知道客戶是什么樣的人，只知道這些人是重復(fù)購買的人，而想要用大眾標(biāo)簽去描述這些人時，可以先猜1000個人，對他們進行營銷，發(fā)現(xiàn)有些人被猜對，有些人被猜錯。對猜對的那部分人繼續(xù)深入，慢慢就會越做越準(zhǔn)確。這就是我通常講的“用數(shù)據(jù)養(yǎng)數(shù)據(jù)”。

一個公司有沒有大數(shù)據(jù)能力，一般看他有沒有預(yù)測能力和行動能力。但是布點/收集、存儲/刷新、識辨/關(guān)聯(lián)，也很重要。前者是如何讓數(shù)據(jù)更容易使用，后者是如何讓數(shù)據(jù)更有效關(guān)聯(lián)在一起。這個閉環(huán)如果可以做好，就可以做一個非常好的數(shù)據(jù)產(chǎn)品。

考量“好數(shù)據(jù)”的六把標(biāo)尺

好的數(shù)據(jù)，六個衡量標(biāo)準(zhǔn)是缺一不可。缺少其中任何一個，數(shù)據(jù)質(zhì)量就會下降。有的數(shù)據(jù)很稀缺，很獨家，那就是數(shù)據(jù)價值。數(shù)據(jù)質(zhì)量，主要要看準(zhǔn)不準(zhǔn)，但還要看全不全。如果你只拿到安卓的數(shù)據(jù)，沒有拿到蘋果的數(shù)據(jù)，那就不全。一段段很零散的數(shù)據(jù)買過來，沒有連續(xù)性的數(shù)據(jù)也是不行的。需要找很可靠的伙伴來提供算法、數(shù)據(jù)、服務(wù)。

一家公司是否能用好自己的數(shù)據(jù)，首先要看一個公司高管、員工有沒有意愿，接著看工具。有意愿、有能力、有工具的前提下，才談到整個公司一定要對數(shù)據(jù)有自己的方向，有組織保障，以及執(zhí)行到位。

信息數(shù)據(jù)化的研究，還應(yīng)該包括應(yīng)用無線化。對話性的產(chǎn)品，將是顛覆世界的產(chǎn)品?；拥漠a(chǎn)品，將來或許會越來越多，這也是我們在創(chuàng)新產(chǎn)品時非常大的機會。