對大數(shù)據(jù)的八大觀點分析

越來越多程序員也涌入大數(shù)據(jù)行業(yè)，但是仔細問一些從業(yè)人員什么是大數(shù)據(jù)?鮮有人知道?就算知道的，最常引用Victor的4V理論，大量(Volume)，快速(Velocity)，種類多(Variety)，價值(Value)，但究竟多大是大?多快是快?幾種算種類多?每個人都有自己的觀點。最核心的問題還不在數(shù)量和種類，而是價值(Value)。什么是大數(shù)據(jù)的價值?如何體現(xiàn)它的價值?如何衡量它的價格 ?它能夠變現(xiàn)么?如何來變現(xiàn)卻是大數(shù)據(jù)的核心問題。

做大數(shù)據(jù)的同學，外面看起來像是紅樓夢的大觀園一樣，外表光鮮亮麗，身在其中的人，才知道各有各的無奈。大數(shù)據(jù)的處理通常分為，數(shù)據(jù)收集，數(shù)據(jù)清洗，數(shù)據(jù)加工。數(shù)據(jù)應用，數(shù)據(jù)可視化。數(shù)據(jù)收集同學總是抱怨數(shù)據(jù)源Garbage in, Garbage out的感覺，數(shù)據(jù)清洗的同學總有沙里淘金的感覺，數(shù)據(jù)加工的同學也經(jīng)常受兩頭氣，相比來說，做數(shù)據(jù)可視化的同學比較幸運，可以找到很多炫酷的感覺，但有不是大數(shù)據(jù)的主流技術。最難受的是做大數(shù)據(jù)應用/變現(xiàn)的同學，不得不靠著忽悠行走江湖。

觀點如下：

大數(shù)據(jù)的信息熵值低

大數(shù)據(jù)不是銀彈是螞蟻效應

大數(shù)據(jù)不解釋因果，更關心相關性

數(shù)據(jù)資源公司最佳是被收購，最好應用是廣告和泛征信

大數(shù)據(jù)是對用戶隱私的汲取

用戶數(shù)據(jù)無法用過定價來進行數(shù)據(jù)交易

搞清楚業(yè)務，再談大數(shù)據(jù)也不晚

大數(shù)據(jù)的價值是真水無香

觀點一 ：大數(shù)據(jù)的信息熵值低

1948年，香農(nóng)提出信息熵的概念，可以用于表述信息的價值，信息熵高的言簡意賅，信息熵低的冗余拖沓。目前，很多大數(shù)據(jù)的來源都是一些系統(tǒng)的Log，圖片，視頻等。特別是日志系統(tǒng)數(shù)據(jù)，數(shù)據(jù)越來越多，越來越大，其中大部分是固定模板的數(shù)據(jù)，區(qū)分度差，信息量并沒有隨著數(shù)據(jù)的增加而線性增加。另外舉個例子，之前我們使用膠卷照片的，我們會選擇重要的場景，珍惜每一個照片，設計好角度和光圈，現(xiàn)在有數(shù)據(jù)相機了，內(nèi)存近乎無限大了，大家肆無忌憚的自拍，哪怕都是同一個角度，大家照的廢片也是一把一把的。同一類型的數(shù)據(jù)多了，信息熵也就降低了。

觀點二：大數(shù)據(jù)不是銀彈，而是螞蟻效應

大數(shù)據(jù)應用常見，多見于推薦系統(tǒng)，業(yè)務流程優(yōu)化，醫(yī)療，性能優(yōu)化，預測，金融交易等，這些業(yè)務在傳統(tǒng)的做法上，已經(jīng)十分依賴于數(shù)據(jù)了，雖然以前不叫大數(shù)據(jù)，但是也都是數(shù)據(jù)驅(qū)動的業(yè)務。數(shù)據(jù)的規(guī)模和種類增多，處理方法的增多，會漸漸提高這些應用的精準性，這種提高一定是漸漸的，一點一滴的。也許一天兩天感覺不錯來的，但是經(jīng)過多年的持續(xù)改進，這種效果是顯而易見的。

舉個例來說，語音識別起始于60年代，基于小型詞匯庫，在90年代，IBM推出的ViaVoice是語音識別的一個里程碑，基于復雜隱式馬爾科夫模型(HMM)或者神經(jīng)網(wǎng)絡算法更加成熟，數(shù)據(jù)也是基于大量的詞匯庫，語料庫。新聞聯(lián)播曾經(jīng)就是ViaVoice中文版本的重要訓練語庫。雖然用了更大的語料庫，效果有改進，但是還無法達到實用的程度。2009年以后，借助于互聯(lián)網(wǎng)語料庫的進一步豐富，數(shù)據(jù)料的增長，遠遠超過算法的改進程度。語音識別在準確性和實用性得到很大的提升，用戶也不斷使用語音識別反饋更多的數(shù)據(jù)。以至于，谷歌公司人工智能方面的專家彼得·諾維格(Peter Norvig) ，和他的同事在一篇題為《數(shù)據(jù)的非理性效果》(The Unreasonable Effectiveness of Data)的文章中寫道，“大數(shù)據(jù)基礎上的簡單算法比小數(shù)據(jù)基礎上的復雜算法更加有效?！薄４髷?shù)據(jù)正在一步一步的解決一些科技應用難題，例如自動駕駛，人工智能等。

觀點三：大數(shù)據(jù)不解釋因果關系，只關心相關性

《大數(shù)據(jù)時代》中定義了大數(shù)據(jù)的第三個特征，“不是因果關系，而是相關關系”。沃爾瑪通過數(shù)據(jù)挖掘，發(fā)現(xiàn)蛋撻和颶風產(chǎn)品有很多關聯(lián)性，并且放在一起銷售提高銷售量。沒有人清楚其中的因果關系，當然，也可能有人牽強的解釋，美國人喜歡颶風時期躲在家里吃蛋撻，通過數(shù)據(jù)我們獲得了相關性，但是卻不理解其中因果關系。我突然想起來自于《三體》的降維攻擊：很多時候我們在二維世界的相關性，是無法在二維世界進行解釋因果的，也許只有在三維或者多維世界才能夠解釋因果關系，而這種因果關系無法直接理解，只能進行歸納成相關關系。

觀點四： 大數(shù)據(jù)資源公司最佳變現(xiàn)是被收購，最直接變現(xiàn)渠道是廣告和泛征信

很多專業(yè)大數(shù)據(jù)服務公司的發(fā)展都不走上市之路(注意不包括大數(shù)據(jù)技術公司)，因為他們對于變現(xiàn)的能力和可持續(xù)性都有很多顧慮，他們也面臨高風險的用戶隱私挑戰(zhàn)，因此很多大數(shù)據(jù)資源公司的PR工作，遠遠多于具體落地的數(shù)據(jù)服務工作。因此，各個專業(yè)大數(shù)據(jù)公司都忙于各種行業(yè)洞察報告和排行榜，數(shù)據(jù)可視化的工作一個比一個炫麗，一個比一個追熱點。談到大數(shù)據(jù)公司的變現(xiàn)，很多公司會提到“數(shù)據(jù)服務”，實際上數(shù)據(jù)服務的市場相對穩(wěn)定，并沒有因為大數(shù)據(jù)公司的發(fā)展而市場膨脹，因此“數(shù)據(jù)服務”實際上是一個明顯的“僧多粥少”的狀態(tài)，另外老牌的數(shù)據(jù)公司，例如Nielson等在客戶方便還是有一定的優(yōu)勢。

收購成為大數(shù)據(jù)公司變現(xiàn)最佳方式，2014年Oracle收購BlueKai獲得很多眾互聯(lián)網(wǎng)用戶數(shù)據(jù)，BlueKai的數(shù)據(jù)來源于和很多小網(wǎng)站進行數(shù)據(jù)交換和購買，尼爾森公司收購了DMP公司eXelate，eXelate的數(shù)據(jù)來源各個合作伙伴的數(shù)據(jù)，它提供了數(shù)據(jù)共享和交換的平臺，創(chuàng)建DMP支持廣告優(yōu)化投放。

既然數(shù)據(jù)服務不容易攢錢，那么有沒有靠譜的變現(xiàn)途徑呢?從目前來說，廣告和泛征信是兩個最有效的變現(xiàn)渠道，效果廣告的精確投放，品牌廣告主需要強烈的數(shù)據(jù)背書，這些都需要數(shù)據(jù)服務，因此在廣告行業(yè)專業(yè)的DMP公司，對于程序化交易是必不可少的。另外，就是征信系統(tǒng)，金融的本質(zhì)是一個套信用系統(tǒng)，這就是為什么各大互聯(lián)網(wǎng)公司都早早進入金融業(yè)務。目前很多P2P公司是否能夠生存，主要依據(jù)就是風險控制，大數(shù)據(jù)是重要技術支持，因此很多P2P會采購大量數(shù)據(jù)資源，加強自己的征信系統(tǒng)。

觀點五：大數(shù)據(jù)是對用戶隱私的汲取

大數(shù)據(jù)正在結合智能設備的普及而大力推進，例如攝像頭，手機，智能穿戴設別等。 其中，大量用戶隱私數(shù)據(jù)被收集，例如用戶地址，交易數(shù)據(jù)，搜索數(shù)據(jù)，用戶的地理位置信息，用戶的脈搏，聯(lián)系人列表等等。這些都是用戶的個人數(shù)據(jù)，各大數(shù)據(jù)公司都通過改善服務為借口，獲得用戶的授權，而進行隱私的汲取和偷窺。

也有一種聲音，這些數(shù)據(jù)是為了讓你享受更好的服務。這里面也是很多邏輯問題。首先，服務商提供更好的服務，并不代表可以收集用戶的隱私數(shù)據(jù);其次，很多公司不提供不收集用戶隱私數(shù)據(jù)的服務的選項，這讓很多用戶無法選擇禁止用戶隱私數(shù)據(jù)收集，這是一種利用市場地位的壟斷和霸王條款;而后，所有數(shù)據(jù)公司沒有提供數(shù)據(jù)清理功能，刪除用戶所有的歷史數(shù)據(jù)。這意味著，你的隱私數(shù)據(jù)一旦被收集，可以被無限次的無范圍的濫用。

觀點六： 用戶數(shù)據(jù)是無法通過定價而進行交換的

大數(shù)據(jù)采集公司，都有數(shù)據(jù)變現(xiàn)需求。對于數(shù)據(jù)采集公司來說，雖然能做一些數(shù)據(jù)分析和預測，但這些分析服務的費用較少(在成為頂級咨詢公司之前)，很難持續(xù)公司的正常運作，只能繼續(xù)燒錢或者被收購。對于數(shù)據(jù)采集公司來說，很多人認為數(shù)據(jù)可以在公開公正公平的數(shù)據(jù)市場中變現(xiàn)，不少市面上的DMP都提供了一些數(shù)據(jù)交易平臺，希望數(shù)據(jù)項商品一些安全，公平的交易.

原因有以下幾個：

1. 大數(shù)據(jù)的價值無法用價格來衡量：

a)同一份數(shù)據(jù)對于不同客戶價值不同，不同拷貝后價值也不同。

b)數(shù)據(jù)定價太低，賣方有注水動機;如果定價太高，買家也難以接受，而且數(shù)據(jù)報價都是暗拍的。

用戶數(shù)據(jù)交易是玩火自焚

在各種大數(shù)據(jù)的應用中，用戶的個人數(shù)據(jù)在很多場景中是最有價值的，這些數(shù)據(jù)一旦流入到市場或者黑市，社會后果將不堪設想，而且數(shù)據(jù)泄露者還面臨法律風險，因此數(shù)據(jù)交易無法在公開的數(shù)據(jù)交易市場進行。一些脫敏技術可以讓數(shù)據(jù)難以反追查，但是脫敏技術的尺度把握卻是在人的手上，它很容易引入各種法律風險。

觀點七：大數(shù)據(jù)的價值是真水無香

滿大街唾沫橫飛的大數(shù)據(jù)，讓人覺得不懂大數(shù)據(jù)是一種羞恥。最近面試過好些候選人，做沒做過數(shù)據(jù)都說想做大數(shù)據(jù)，而且是非大數(shù)據(jù)/機器學習不做，問他為什么要做大數(shù)據(jù)，所有回答都是這是趨勢，不轉(zhuǎn)型，寧等死，大數(shù)據(jù)可以挖掘出很多價值，幫助業(yè)務增長，這種感覺很好。

反過頭來，看看工作中搞大數(shù)據(jù)技術的同學，每天通過腳本處理成千上萬的數(shù)據(jù)，每天苦逼的處理各個數(shù)據(jù)格式，數(shù)據(jù)清洗，數(shù)據(jù)加工，數(shù)據(jù)分類/聚類，好不容易生成一些數(shù)據(jù)洞察結果，也需要用一大堆腳本和數(shù)據(jù)進行二次驗證，包括精準率/召回率。這是一種苦逼，而且需要自己挖掘樂趣的工作。

確實，在一種新的數(shù)據(jù)洞察或大數(shù)據(jù)應用出來的時候，確實對于產(chǎn)品的提升很有幫助，為了保持保護這種提升，需要不斷的對于數(shù)據(jù)進行清理，提高及時性，這種數(shù)據(jù)的維護工作慢慢會變成大數(shù)據(jù)工作者的很大一部分工作。這個過程有點像，一個系統(tǒng)的完善性維護工作，占了軟件開發(fā)的很大一部分工作。 這部分數(shù)據(jù)價值對于產(chǎn)品競爭力的提升也會漸漸平淡，投入產(chǎn)出比越來越低。但是這些完善性維護工作，卻不能停。一旦停止，對于業(yè)務會帶來負增長，因此這種維護性的工作會變的越來辛苦。這個時候業(yè)務對于數(shù)據(jù)的以來就像人們對白開水的需求一樣，平時覺得沒有味道，但是缺少的馬上就感到口渴，甚至渴死。

觀點八：搞清楚業(yè)務之后，再談大數(shù)據(jù)也不晚

目前很多行業(yè)峰會都沾上“大數(shù)據(jù)”的光環(huán)了，以前的站長大會也變成”自媒體大數(shù)據(jù)峰會”了，以前的互聯(lián)網(wǎng)運營大會也變成”大數(shù)據(jù)運營峰會”了，以前的軟件研發(fā)大會也加入了一個“大數(shù)據(jù)”分會場了。這是一個大數(shù)據(jù)唾沫橫飛的世界，一不小心你就參與其中了。

我參加過幾個大數(shù)據(jù)會議，有很多人是慕名而來(我自己也是其中之一)，努力將自己的工作和大數(shù)據(jù)掛上鉤，搞數(shù)據(jù)分析的說自己分析的是大數(shù)據(jù)，搞技術的說自己運用了大數(shù)據(jù)技術，搞應用的說自己的大數(shù)據(jù)驅(qū)動的業(yè)務。最后，誰也不知道大數(shù)據(jù)是什么，好像和數(shù)據(jù)之間沒有太多本質(zhì)的區(qū)別，只是多了一個“大”字而已。

我認為，這不是什么壞事，無論是使用“信息化”，“大數(shù)據(jù)”，“數(shù)據(jù)時代”，“數(shù)據(jù)挖掘”，“認知計算”，“深度學習”等詞語，只要能夠解決業(yè)務的問題，推進社會更加美好，就是一份有意義的工作。無論大數(shù)據(jù)還是小數(shù)據(jù)，解決業(yè)務問題就是好數(shù)據(jù)。