對(duì)大數(shù)據(jù)的八大觀點(diǎn)分析

越來(lái)越多程序員也涌入大數(shù)據(jù)行業(yè)，但是仔細(xì)問(wèn)一些從業(yè)人員什么是大數(shù)據(jù)?鮮有人知道?就算知道的，最常引用Victor的4V理論，大量(Volume)，快速(Velocity)，種類(lèi)多(Variety)，價(jià)值(Value)，但究竟多大是大?多快是快?幾種算種類(lèi)多?每個(gè)人都有自己的觀點(diǎn)。最核心的問(wèn)題還不在數(shù)量和種類(lèi)，而是價(jià)值(Value)。什么是大數(shù)據(jù)的價(jià)值?如何體現(xiàn)它的價(jià)值?如何衡量它的價(jià)格 ?它能夠變現(xiàn)么?如何來(lái)變現(xiàn)卻是大數(shù)據(jù)的核心問(wèn)題。

做大數(shù)據(jù)的同學(xué)，外面看起來(lái)像是紅樓夢(mèng)的大觀園一樣，外表光鮮亮麗，身在其中的人，才知道各有各的無(wú)奈。大數(shù)據(jù)的處理通常分為，數(shù)據(jù)收集，數(shù)據(jù)清洗，數(shù)據(jù)加工。數(shù)據(jù)應(yīng)用，數(shù)據(jù)可視化。數(shù)據(jù)收集同學(xué)總是抱怨數(shù)據(jù)源Garbage in, Garbage out的感覺(jué)，數(shù)據(jù)清洗的同學(xué)總有沙里淘金的感覺(jué)，數(shù)據(jù)加工的同學(xué)也經(jīng)常受兩頭氣，相比來(lái)說(shuō)，做數(shù)據(jù)可視化的同學(xué)比較幸運(yùn)，可以找到很多炫酷的感覺(jué)，但有不是大數(shù)據(jù)的主流技術(shù)。最難受的是做大數(shù)據(jù)應(yīng)用/變現(xiàn)的同學(xué)，不得不靠著忽悠行走江湖。

觀點(diǎn)如下：

大數(shù)據(jù)的信息熵值低

大數(shù)據(jù)不是銀彈是螞蟻效應(yīng)

大數(shù)據(jù)不解釋因果，更關(guān)心相關(guān)性

數(shù)據(jù)資源公司最佳是被收購(gòu)，最好應(yīng)用是廣告和泛征信

大數(shù)據(jù)是對(duì)用戶(hù)隱私的汲取

用戶(hù)數(shù)據(jù)無(wú)法用過(guò)定價(jià)來(lái)進(jìn)行數(shù)據(jù)交易

搞清楚業(yè)務(wù)，再談大數(shù)據(jù)也不晚

大數(shù)據(jù)的價(jià)值是真水無(wú)香

觀點(diǎn)一 ：大數(shù)據(jù)的信息熵值低

1948年，香農(nóng)提出信息熵的概念，可以用于表述信息的價(jià)值，信息熵高的言簡(jiǎn)意賅，信息熵低的冗余拖沓。目前，很多大數(shù)據(jù)的來(lái)源都是一些系統(tǒng)的Log，圖片，視頻等。特別是日志系統(tǒng)數(shù)據(jù)，數(shù)據(jù)越來(lái)越多，越來(lái)越大，其中大部分是固定模板的數(shù)據(jù)，區(qū)分度差，信息量并沒(méi)有隨著數(shù)據(jù)的增加而線性增加。另外舉個(gè)例子，之前我們使用膠卷照片的，我們會(huì)選擇重要的場(chǎng)景，珍惜每一個(gè)照片，設(shè)計(jì)好角度和光圈，現(xiàn)在有數(shù)據(jù)相機(jī)了，內(nèi)存近乎無(wú)限大了，大家肆無(wú)忌憚的自拍，哪怕都是同一個(gè)角度，大家照的廢片也是一把一把的。同一類(lèi)型的數(shù)據(jù)多了，信息熵也就降低了。

觀點(diǎn)二：大數(shù)據(jù)不是銀彈，而是螞蟻效應(yīng)

大數(shù)據(jù)應(yīng)用常見(jiàn)，多見(jiàn)于推薦系統(tǒng)，業(yè)務(wù)流程優(yōu)化，醫(yī)療，性能優(yōu)化，預(yù)測(cè)，金融交易等，這些業(yè)務(wù)在傳統(tǒng)的做法上，已經(jīng)十分依賴(lài)于數(shù)據(jù)了，雖然以前不叫大數(shù)據(jù)，但是也都是數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)。數(shù)據(jù)的規(guī)模和種類(lèi)增多，處理方法的增多，會(huì)漸漸提高這些應(yīng)用的精準(zhǔn)性，這種提高一定是漸漸的，一點(diǎn)一滴的。也許一天兩天感覺(jué)不錯(cuò)來(lái)的，但是經(jīng)過(guò)多年的持續(xù)改進(jìn)，這種效果是顯而易見(jiàn)的。

舉個(gè)例來(lái)說(shuō)，語(yǔ)音識(shí)別起始于60年代，基于小型詞匯庫(kù)，在90年代，IBM推出的ViaVoice是語(yǔ)音識(shí)別的一個(gè)里程碑，基于復(fù)雜隱式馬爾科夫模型(HMM)或者神經(jīng)網(wǎng)絡(luò)算法更加成熟，數(shù)據(jù)也是基于大量的詞匯庫(kù)，語(yǔ)料庫(kù)。新聞聯(lián)播曾經(jīng)就是ViaVoice中文版本的重要訓(xùn)練語(yǔ)庫(kù)。雖然用了更大的語(yǔ)料庫(kù)，效果有改進(jìn)，但是還無(wú)法達(dá)到實(shí)用的程度。2009年以后，借助于互聯(lián)網(wǎng)語(yǔ)料庫(kù)的進(jìn)一步豐富，數(shù)據(jù)料的增長(zhǎng)，遠(yuǎn)遠(yuǎn)超過(guò)算法的改進(jìn)程度。語(yǔ)音識(shí)別在準(zhǔn)確性和實(shí)用性得到很大的提升，用戶(hù)也不斷使用語(yǔ)音識(shí)別反饋更多的數(shù)據(jù)。以至于，谷歌公司人工智能方面的專(zhuān)家彼得·諾維格(Peter Norvig) ，和他的同事在一篇題為《數(shù)據(jù)的非理性效果》(The Unreasonable Effectiveness of Data)的文章中寫(xiě)道，“大數(shù)據(jù)基礎(chǔ)上的簡(jiǎn)單算法比小數(shù)據(jù)基礎(chǔ)上的復(fù)雜算法更加有效?！薄４髷?shù)據(jù)正在一步一步的解決一些科技應(yīng)用難題，例如自動(dòng)駕駛，人工智能等。

觀點(diǎn)三：大數(shù)據(jù)不解釋因果關(guān)系，只關(guān)心相關(guān)性

《大數(shù)據(jù)時(shí)代》中定義了大數(shù)據(jù)的第三個(gè)特征，“不是因果關(guān)系，而是相關(guān)關(guān)系”。沃爾瑪通過(guò)數(shù)據(jù)挖掘，發(fā)現(xiàn)蛋撻和颶風(fēng)產(chǎn)品有很多關(guān)聯(lián)性，并且放在一起銷(xiāo)售提高銷(xiāo)售量。沒(méi)有人清楚其中的因果關(guān)系，當(dāng)然，也可能有人牽強(qiáng)的解釋?zhuān)绹?guó)人喜歡颶風(fēng)時(shí)期躲在家里吃蛋撻，通過(guò)數(shù)據(jù)我們獲得了相關(guān)性，但是卻不理解其中因果關(guān)系。我突然想起來(lái)自于《三體》的降維攻擊：很多時(shí)候我們?cè)诙S世界的相關(guān)性，是無(wú)法在二維世界進(jìn)行解釋因果的，也許只有在三維或者多維世界才能夠解釋因果關(guān)系，而這種因果關(guān)系無(wú)法直接理解，只能進(jìn)行歸納成相關(guān)關(guān)系。

觀點(diǎn)四： 大數(shù)據(jù)資源公司最佳變現(xiàn)是被收購(gòu)，最直接變現(xiàn)渠道是廣告和泛征信

很多專(zhuān)業(yè)大數(shù)據(jù)服務(wù)公司的發(fā)展都不走上市之路(注意不包括大數(shù)據(jù)技術(shù)公司)，因?yàn)樗麄儗?duì)于變現(xiàn)的能力和可持續(xù)性都有很多顧慮，他們也面臨高風(fēng)險(xiǎn)的用戶(hù)隱私挑戰(zhàn)，因此很多大數(shù)據(jù)資源公司的PR工作，遠(yuǎn)遠(yuǎn)多于具體落地的數(shù)據(jù)服務(wù)工作。因此，各個(gè)專(zhuān)業(yè)大數(shù)據(jù)公司都忙于各種行業(yè)洞察報(bào)告和排行榜，數(shù)據(jù)可視化的工作一個(gè)比一個(gè)炫麗，一個(gè)比一個(gè)追熱點(diǎn)。談到大數(shù)據(jù)公司的變現(xiàn)，很多公司會(huì)提到“數(shù)據(jù)服務(wù)”，實(shí)際上數(shù)據(jù)服務(wù)的市場(chǎng)相對(duì)穩(wěn)定，并沒(méi)有因?yàn)榇髷?shù)據(jù)公司的發(fā)展而市場(chǎng)膨脹，因此“數(shù)據(jù)服務(wù)”實(shí)際上是一個(gè)明顯的“僧多粥少”的狀態(tài)，另外老牌的數(shù)據(jù)公司，例如Nielson等在客戶(hù)方便還是有一定的優(yōu)勢(shì)。

收購(gòu)成為大數(shù)據(jù)公司變現(xiàn)最佳方式，2014年Oracle收購(gòu)BlueKai獲得很多眾互聯(lián)網(wǎng)用戶(hù)數(shù)據(jù)，BlueKai的數(shù)據(jù)來(lái)源于和很多小網(wǎng)站進(jìn)行數(shù)據(jù)交換和購(gòu)買(mǎi)，尼爾森公司收購(gòu)了DMP公司eXelate，eXelate的數(shù)據(jù)來(lái)源各個(gè)合作伙伴的數(shù)據(jù)，它提供了數(shù)據(jù)共享和交換的平臺(tái)，創(chuàng)建DMP支持廣告優(yōu)化投放。

既然數(shù)據(jù)服務(wù)不容易攢錢(qián)，那么有沒(méi)有靠譜的變現(xiàn)途徑呢?從目前來(lái)說(shuō)，廣告和泛征信是兩個(gè)最有效的變現(xiàn)渠道，效果廣告的精確投放，品牌廣告主需要強(qiáng)烈的數(shù)據(jù)背書(shū)，這些都需要數(shù)據(jù)服務(wù)，因此在廣告行業(yè)專(zhuān)業(yè)的DMP公司，對(duì)于程序化交易是必不可少的。另外，就是征信系統(tǒng)，金融的本質(zhì)是一個(gè)套信用系統(tǒng)，這就是為什么各大互聯(lián)網(wǎng)公司都早早進(jìn)入金融業(yè)務(wù)。目前很多P2P公司是否能夠生存，主要依據(jù)就是風(fēng)險(xiǎn)控制，大數(shù)據(jù)是重要技術(shù)支持，因此很多P2P會(huì)采購(gòu)大量數(shù)據(jù)資源，加強(qiáng)自己的征信系統(tǒng)。

觀點(diǎn)五：大數(shù)據(jù)是對(duì)用戶(hù)隱私的汲取

大數(shù)據(jù)正在結(jié)合智能設(shè)備的普及而大力推進(jìn)，例如攝像頭，手機(jī)，智能穿戴設(shè)別等。 其中，大量用戶(hù)隱私數(shù)據(jù)被收集，例如用戶(hù)地址，交易數(shù)據(jù)，搜索數(shù)據(jù)，用戶(hù)的地理位置信息，用戶(hù)的脈搏，聯(lián)系人列表等等。這些都是用戶(hù)的個(gè)人數(shù)據(jù)，各大數(shù)據(jù)公司都通過(guò)改善服務(wù)為借口，獲得用戶(hù)的授權(quán)，而進(jìn)行隱私的汲取和偷窺。

也有一種聲音，這些數(shù)據(jù)是為了讓你享受更好的服務(wù)。這里面也是很多邏輯問(wèn)題。首先，服務(wù)商提供更好的服務(wù)，并不代表可以收集用戶(hù)的隱私數(shù)據(jù);其次，很多公司不提供不收集用戶(hù)隱私數(shù)據(jù)的服務(wù)的選項(xiàng)，這讓很多用戶(hù)無(wú)法選擇禁止用戶(hù)隱私數(shù)據(jù)收集，這是一種利用市場(chǎng)地位的壟斷和霸王條款;而后，所有數(shù)據(jù)公司沒(méi)有提供數(shù)據(jù)清理功能，刪除用戶(hù)所有的歷史數(shù)據(jù)。這意味著，你的隱私數(shù)據(jù)一旦被收集，可以被無(wú)限次的無(wú)范圍的濫用。

觀點(diǎn)六： 用戶(hù)數(shù)據(jù)是無(wú)法通過(guò)定價(jià)而進(jìn)行交換的

大數(shù)據(jù)采集公司，都有數(shù)據(jù)變現(xiàn)需求。對(duì)于數(shù)據(jù)采集公司來(lái)說(shuō)，雖然能做一些數(shù)據(jù)分析和預(yù)測(cè)，但這些分析服務(wù)的費(fèi)用較少(在成為頂級(jí)咨詢(xún)公司之前)，很難持續(xù)公司的正常運(yùn)作，只能繼續(xù)燒錢(qián)或者被收購(gòu)。對(duì)于數(shù)據(jù)采集公司來(lái)說(shuō)，很多人認(rèn)為數(shù)據(jù)可以在公開(kāi)公正公平的數(shù)據(jù)市場(chǎng)中變現(xiàn)，不少市面上的DMP都提供了一些數(shù)據(jù)交易平臺(tái)，希望數(shù)據(jù)項(xiàng)商品一些安全，公平的交易.

原因有以下幾個(gè)：

1. 大數(shù)據(jù)的價(jià)值無(wú)法用價(jià)格來(lái)衡量：

a)同一份數(shù)據(jù)對(duì)于不同客戶(hù)價(jià)值不同，不同拷貝后價(jià)值也不同。

b)數(shù)據(jù)定價(jià)太低，賣(mài)方有注水動(dòng)機(jī);如果定價(jià)太高，買(mǎi)家也難以接受，而且數(shù)據(jù)報(bào)價(jià)都是暗拍的。

用戶(hù)數(shù)據(jù)交易是玩火自焚

在各種大數(shù)據(jù)的應(yīng)用中，用戶(hù)的個(gè)人數(shù)據(jù)在很多場(chǎng)景中是最有價(jià)值的，這些數(shù)據(jù)一旦流入到市場(chǎng)或者黑市，社會(huì)后果將不堪設(shè)想，而且數(shù)據(jù)泄露者還面臨法律風(fēng)險(xiǎn)，因此數(shù)據(jù)交易無(wú)法在公開(kāi)的數(shù)據(jù)交易市場(chǎng)進(jìn)行。一些脫敏技術(shù)可以讓數(shù)據(jù)難以反追查，但是脫敏技術(shù)的尺度把握卻是在人的手上，它很容易引入各種法律風(fēng)險(xiǎn)。

觀點(diǎn)七：大數(shù)據(jù)的價(jià)值是真水無(wú)香

滿大街唾沫橫飛的大數(shù)據(jù)，讓人覺(jué)得不懂大數(shù)據(jù)是一種羞恥。最近面試過(guò)好些候選人，做沒(méi)做過(guò)數(shù)據(jù)都說(shuō)想做大數(shù)據(jù)，而且是非大數(shù)據(jù)/機(jī)器學(xué)習(xí)不做，問(wèn)他為什么要做大數(shù)據(jù)，所有回答都是這是趨勢(shì)，不轉(zhuǎn)型，寧等死，大數(shù)據(jù)可以挖掘出很多價(jià)值，幫助業(yè)務(wù)增長(zhǎng)，這種感覺(jué)很好。

反過(guò)頭來(lái)，看看工作中搞大數(shù)據(jù)技術(shù)的同學(xué)，每天通過(guò)腳本處理成千上萬(wàn)的數(shù)據(jù)，每天苦逼的處理各個(gè)數(shù)據(jù)格式，數(shù)據(jù)清洗，數(shù)據(jù)加工，數(shù)據(jù)分類(lèi)/聚類(lèi)，好不容易生成一些數(shù)據(jù)洞察結(jié)果，也需要用一大堆腳本和數(shù)據(jù)進(jìn)行二次驗(yàn)證，包括精準(zhǔn)率/召回率。這是一種苦逼，而且需要自己挖掘樂(lè)趣的工作。

確實(shí)，在一種新的數(shù)據(jù)洞察或大數(shù)據(jù)應(yīng)用出來(lái)的時(shí)候，確實(shí)對(duì)于產(chǎn)品的提升很有幫助，為了保持保護(hù)這種提升，需要不斷的對(duì)于數(shù)據(jù)進(jìn)行清理，提高及時(shí)性，這種數(shù)據(jù)的維護(hù)工作慢慢會(huì)變成大數(shù)據(jù)工作者的很大一部分工作。這個(gè)過(guò)程有點(diǎn)像，一個(gè)系統(tǒng)的完善性維護(hù)工作，占了軟件開(kāi)發(fā)的很大一部分工作。 這部分?jǐn)?shù)據(jù)價(jià)值對(duì)于產(chǎn)品競(jìng)爭(zhēng)力的提升也會(huì)漸漸平淡，投入產(chǎn)出比越來(lái)越低。但是這些完善性維護(hù)工作，卻不能停。一旦停止，對(duì)于業(yè)務(wù)會(huì)帶來(lái)負(fù)增長(zhǎng)，因此這種維護(hù)性的工作會(huì)變的越來(lái)辛苦。這個(gè)時(shí)候業(yè)務(wù)對(duì)于數(shù)據(jù)的以來(lái)就像人們對(duì)白開(kāi)水的需求一樣，平時(shí)覺(jué)得沒(méi)有味道，但是缺少的馬上就感到口渴，甚至渴死。

觀點(diǎn)八：搞清楚業(yè)務(wù)之后，再談大數(shù)據(jù)也不晚

目前很多行業(yè)峰會(huì)都沾上“大數(shù)據(jù)”的光環(huán)了，以前的站長(zhǎng)大會(huì)也變成”自媒體大數(shù)據(jù)峰會(huì)”了，以前的互聯(lián)網(wǎng)運(yùn)營(yíng)大會(huì)也變成”大數(shù)據(jù)運(yùn)營(yíng)峰會(huì)”了，以前的軟件研發(fā)大會(huì)也加入了一個(gè)“大數(shù)據(jù)”分會(huì)場(chǎng)了。這是一個(gè)大數(shù)據(jù)唾沫橫飛的世界，一不小心你就參與其中了。

我參加過(guò)幾個(gè)大數(shù)據(jù)會(huì)議，有很多人是慕名而來(lái)(我自己也是其中之一)，努力將自己的工作和大數(shù)據(jù)掛上鉤，搞數(shù)據(jù)分析的說(shuō)自己分析的是大數(shù)據(jù)，搞技術(shù)的說(shuō)自己運(yùn)用了大數(shù)據(jù)技術(shù)，搞應(yīng)用的說(shuō)自己的大數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)。最后，誰(shuí)也不知道大數(shù)據(jù)是什么，好像和數(shù)據(jù)之間沒(méi)有太多本質(zhì)的區(qū)別，只是多了一個(gè)“大”字而已。

我認(rèn)為，這不是什么壞事，無(wú)論是使用“信息化”，“大數(shù)據(jù)”，“數(shù)據(jù)時(shí)代”，“數(shù)據(jù)挖掘”，“認(rèn)知計(jì)算”，“深度學(xué)習(xí)”等詞語(yǔ)，只要能夠解決業(yè)務(wù)的問(wèn)題，推進(jìn)社會(huì)更加美好，就是一份有意義的工作。無(wú)論大數(shù)據(jù)還是小數(shù)據(jù)，解決業(yè)務(wù)問(wèn)題就是好數(shù)據(jù)。