論大數(shù)據(jù)的十大局限

“忽如一夜春風(fēng)來，千樹萬樹梨花開”，似乎在一夜之間，大數(shù)據(jù)就紅遍了南北半球，，大數(shù)據(jù)被神化得無處不在，無所不包，無所不能。這里面有認(rèn)識(shí)上的原因，也有故意忽悠的成份。筆者以為，越是在熱得發(fā)燙的時(shí)候，越是需要有人在旁邊吹吹冷風(fēng)。在這里談大數(shù)據(jù)的十大局限性，并非要否定其價(jià)值。相反，只有我們充分認(rèn)識(shí)了大數(shù)據(jù)的特點(diǎn)和優(yōu)劣勢(shì)，才能更加有效地對(duì)其進(jìn)行采集、加工、應(yīng)用，充分挖掘和發(fā)揮其價(jià)值。

1、數(shù)據(jù)噪聲：與生俱來的不和諧

大數(shù)據(jù)之所以為大數(shù)據(jù)，首先是因?yàn)槠鋽?shù)據(jù)體量巨大。然而，在這海量的數(shù)據(jù)中，并非所有的數(shù)據(jù)都是有用的，大多數(shù)時(shí)候，有用的數(shù)據(jù)甚至只是其中的很小一部分。隨著數(shù)據(jù)量的不斷增加，無意義的冗余、垃圾數(shù)據(jù)也會(huì)越來越多，而且其增長的速度比數(shù)據(jù)信息更快。這樣一來，我們尋求的重要數(shù)據(jù)信息或客觀真理往往會(huì)被龐大數(shù)據(jù)所帶來的噪聲所淹沒，甚至被引入歧途和陷阱，得出錯(cuò)誤的結(jié)論。

2、真實(shí)性：不得不接受的虛假

“引領(lǐng)我們進(jìn)入困局的并不是我們不知道的事物，而是我們知道、但不那么真實(shí)的事物。”真實(shí)性是一切數(shù)據(jù)價(jià)值的基礎(chǔ)，然而這同時(shí)也是大數(shù)據(jù)的一大先天性缺陷。

網(wǎng)絡(luò)是大數(shù)據(jù)最重要的來源之一，而網(wǎng)絡(luò)本身就充斥著大量的虛假信息。例如，網(wǎng)絡(luò)數(shù)據(jù)中存在著大量的虛假個(gè)人注冊(cè)信息、假賬號(hào)、假粉絲、假交易、灌水貼及虛假的意思表示等。這種失真是由網(wǎng)絡(luò)本身的特性決定的，比如說，絕大多數(shù)社交網(wǎng)站很難也不會(huì)對(duì)會(huì)員注冊(cè)信息的真實(shí)性進(jìn)行全面核查，電商平臺(tái)也無法控制一人注冊(cè)多賬號(hào)，或賬號(hào)與實(shí)際消費(fèi)個(gè)體的非對(duì)應(yīng)關(guān)系（想想你家有沒有共用一個(gè)寬帶或電商賬號(hào)的情況）。

除了網(wǎng)絡(luò)數(shù)據(jù)，即便是通過原始方法采集的個(gè)人信息數(shù)據(jù)也無法保障其真實(shí)、準(zhǔn)確。就拿電信運(yùn)營商來說，即便推行了實(shí)名制，數(shù)據(jù)質(zhì)量與期望仍有相當(dāng)差距。

可以預(yù)見，在相當(dāng)長的時(shí)間內(nèi)，即使最優(yōu)秀的數(shù)據(jù)科學(xué)家、最先進(jìn)的數(shù)據(jù)處理方法也無法消除或修正某些數(shù)據(jù)固有的錯(cuò)誤和不足，對(duì)大數(shù)據(jù)真實(shí)性的追求無疑是擺在我們面前的又一挑戰(zhàn)。

3、代表性：永不可能的全樣本

邁爾·舍恩伯格在《大數(shù)據(jù)時(shí)代》一書中闡述的一個(gè)核心觀點(diǎn)便是，大數(shù)據(jù)是全樣本，因此不再依賴隨機(jī)取樣。筆者認(rèn)為，這種觀點(diǎn)是錯(cuò)誤的。

大數(shù)據(jù)來源大致可以分為兩類，一類來自于物理世界的科學(xué)數(shù)據(jù)，如實(shí)驗(yàn)數(shù)據(jù)、傳感數(shù)據(jù)、觀測(cè)數(shù)據(jù)等；另一類則來自于人類社會(huì)活動(dòng)，主要是互聯(lián)網(wǎng)數(shù)據(jù)，如社交關(guān)系、商品交易、行為軌跡等個(gè)人信息。然而，這兩類數(shù)據(jù)的產(chǎn)生、收集都存在很大的盲區(qū)和局限性。例如：很多人在網(wǎng)上訂餐或消費(fèi)的時(shí)候往往會(huì)參考其他人的推薦和點(diǎn)評(píng)，但經(jīng)常在消費(fèi)以后發(fā)現(xiàn)并不如意。撇開個(gè)人口味和刷評(píng)的因素，還有一個(gè)重要原因在于，網(wǎng)上點(diǎn)評(píng)的人并不具備足夠的代表性。喜歡上網(wǎng)的本身就只是消費(fèi)人群中的一部分，上網(wǎng)消費(fèi)同時(shí)又喜歡點(diǎn)評(píng)的人更只是其中的一小部分，所以，由帶有明顯傾向的小眾來代表整個(gè)群體明顯是錯(cuò)誤的。

無論科學(xué)技術(shù)如何發(fā)達(dá)，來自于物理世界和網(wǎng)絡(luò)社會(huì)的大數(shù)據(jù)永遠(yuǎn)都不可能覆蓋整個(gè)自然界和人類社會(huì)；如果再考慮宗教、法律、倫理、道德上的諸多限制，那么大數(shù)據(jù)就更不可能成為“全樣本”了。而且，被遺漏的那部分?jǐn)?shù)據(jù)往往并不是隨機(jī)偏差，而是系統(tǒng)偏差，在統(tǒng)計(jì)分析時(shí)不能不考慮。也正因?yàn)槿绱?，社?huì)學(xué)家對(duì)大數(shù)據(jù)的代表性總是保持著一份可貴的疑慮和審慎，在許多領(lǐng)域仍然堅(jiān)持用傳統(tǒng)的抽樣方法而不是大數(shù)據(jù)來進(jìn)行社會(huì)研究。

4、完整性：廣度與深度的缺失

大數(shù)據(jù)的完整性不足主要是指單個(gè)組織所能獲取的數(shù)據(jù)體量雖然巨大，但所包含的實(shí)際信息卻十分有限，以致難以以此為基礎(chǔ)進(jìn)行復(fù)雜的邏輯運(yùn)算或全面描述。這種不完整主要包括信息維度（決定信息廣度）的缺失和維度信息（決定信息深度）的缺失。

舉例而言，電信運(yùn)營商由于把控著數(shù)據(jù)管道，從而可以較全面地掌握用戶的上網(wǎng)信息，有著較好的信息廣度，但其掌握的信息深度卻不夠。運(yùn)營商可以清楚地知道用戶在什么時(shí)間、什么地點(diǎn)、以什么終端、什么網(wǎng)絡(luò)訪問了京東、亞馬遜、天貓等電商，瀏覽了何種商品，停留了多長時(shí)間等（信息廣度充分），但卻不能掌握用戶是否在某電商平臺(tái)上購買了商品、購買了何種商品、參與了什么促銷活動(dòng)、以什么方式付款、支付了多少款額等（信息深度不足）。很顯然，京東對(duì)用戶在自己商城的瀏覽、消費(fèi)行為了如指掌（信息深度充分），但它卻無法了解用戶的其他互聯(lián)網(wǎng)行為及在其他電商平臺(tái)的消費(fèi)行為（信息廣度不足）。

在大多數(shù)情況下，對(duì)某種自然、社會(huì)現(xiàn)象的深入研究或者對(duì)用戶的超級(jí)刻畫，信息廣度和信息深度缺一不可。從這個(gè)意義上講，真正的大數(shù)據(jù)應(yīng)是建立在共同的標(biāo)準(zhǔn)基礎(chǔ)之上，融合了企業(yè)、政府、科學(xué)研究等跨領(lǐng)域、跨行業(yè)、跨平臺(tái)數(shù)據(jù)的集合，是社會(huì)大數(shù)據(jù)。

然而，當(dāng)前的大數(shù)據(jù)依然以獨(dú)立孤島的形式存在，沒有任何一個(gè)組織能夠獲取在廣度和深度上都足夠充分的數(shù)據(jù)。應(yīng)該大力推進(jìn)全社會(huì)的數(shù)據(jù)公開和共享，其中政府?dāng)?shù)據(jù)開放尤其重要。毫不夸張地講，真正核心的數(shù)據(jù)絕大部分掌握在政府手中，沒有政府參與，就沒有真正的大數(shù)據(jù)。

5、時(shí)效性：秒級(jí)價(jià)值存在

任何數(shù)據(jù)都位于一個(gè)連續(xù)的時(shí)間軸上，都有其時(shí)間屬性，即數(shù)據(jù)年齡。不同年齡的數(shù)據(jù)有著不同的價(jià)值特性，往往老數(shù)據(jù)具有總體或趨勢(shì)分析價(jià)值，新數(shù)據(jù)則更具有個(gè)體應(yīng)用價(jià)值。大數(shù)據(jù)時(shí)代，信息更新速度非常快，從應(yīng)用的角度看，大數(shù)據(jù)的時(shí)效性往往非常短。

用于探測(cè)地震和海嘯的傳感器所產(chǎn)生的數(shù)據(jù)時(shí)效往往只有幾秒鐘，在此之后就基本失去意義了。美國國家海洋局的超級(jí)計(jì)算機(jī)能夠利用傳感器傳輸?shù)臄?shù)據(jù)，在日本地震后9分鐘內(nèi)計(jì)算出海嘯的可能性及強(qiáng)度。短短的9分鐘，基本反映了當(dāng)前人類計(jì)算的最高水平，但這對(duì)于瞬間消失的生命來說還是太長了。

實(shí)時(shí)營銷對(duì)用戶狀態(tài)信息的時(shí)效性也有很高的要求，試想想，如果你的目標(biāo)用戶在離開店面500米后才收到你所謂“量身定做”的促銷信息，他（她）是不是會(huì)對(duì)此嗤之以鼻？

大數(shù)據(jù)時(shí)效性的要求對(duì)數(shù)據(jù)的實(shí)時(shí)采集、實(shí)時(shí)加工、實(shí)時(shí)分發(fā)提出了極高的要求。數(shù)據(jù)處理上有一個(gè)著名的“1秒定律”，即要在秒級(jí)的時(shí)間范圍內(nèi)計(jì)算出分析結(jié)果并分發(fā)出去，超過這個(gè)時(shí)間，數(shù)據(jù)就失去價(jià)值了。這在許多時(shí)候還很難做到，從而在相當(dāng)程度上限制了大數(shù)據(jù)的應(yīng)用。

6、解釋性：不能沒有因果關(guān)系

對(duì)于舍恩伯格關(guān)于大數(shù)據(jù)的另一個(gè)核心觀點(diǎn)，“不是因果關(guān)系，而是相關(guān)關(guān)系”，只需要了解是什么或未來會(huì)發(fā)生什么，而不是為什么和事情發(fā)生的內(nèi)在原因，筆者同樣不敢茍同。

相關(guān)關(guān)系僅代表著過去和個(gè)案，沒有解釋性，有時(shí)甚至是錯(cuò)誤的，而且不能推而廣之。只有掌握了事物之間的因果關(guān)系、原因機(jī)制和科學(xué)原理，才能舉一反三，迭代更新，持續(xù)推動(dòng)社會(huì)進(jìn)步。這是很簡(jiǎn)單的道理，不必贅言。

關(guān)于相關(guān)性，一直為人津津樂道的便是啤酒與尿布的故事。然而，沃爾瑪商品品種成千上萬，相關(guān)關(guān)系數(shù)十億之多，我想類似的絕妙組合尚有不少，為什么再也難見？更何況，人們?nèi)匀粚?duì)啤酒與尿布的相關(guān)關(guān)系進(jìn)行了合理的因果邏輯解釋。試想，如果首先發(fā)現(xiàn)了這樣的因果關(guān)系，再通過相關(guān)關(guān)系予以驗(yàn)證，是否可以發(fā)現(xiàn)更多的“啤酒和尿布”？

大數(shù)據(jù)分析需要借助機(jī)器來完成，而機(jī)器從來就只能給出數(shù)據(jù)間的相關(guān)關(guān)系，而不能說明因果邏輯。因果關(guān)系需要人的思考和判斷，電腦現(xiàn)在沒有、將來也不可能完全替代人腦。玩笑一下，如此急迫地強(qiáng)調(diào)相關(guān)關(guān)系而不是因果關(guān)系，難道我們真的不需要腦子了嗎？

7、預(yù)測(cè)性：讓過去決定未來

大數(shù)據(jù)分析無論被賦予多么絢麗的光環(huán)，從根本上講都只是對(duì)過去和現(xiàn)實(shí)的歸納和總結(jié)，其本身并不具有趨勢(shì)和方向性的特征。決定趨勢(shì)的是事物發(fā)展的內(nèi)在因素及相互作用，在此方面大數(shù)據(jù)無能為力，這是大數(shù)據(jù)的先天性缺陷之一。

舍恩伯格也坦言，與大數(shù)據(jù)同行是有一定風(fēng)險(xiǎn)的，大數(shù)據(jù)有可能會(huì)把我們鎖定在以往的錯(cuò)誤當(dāng)中，使我們墮入讓過去決定未來的陷阱。

現(xiàn)在有些基金公司推出大數(shù)據(jù)指數(shù)基金，期望通過大數(shù)據(jù)對(duì)股票行情進(jìn)行準(zhǔn)確的預(yù)測(cè)。歷史行情走勢(shì)只是過去已經(jīng)發(fā)生的影響股票市場(chǎng)的諸多因素共同作用的結(jié)果，以此來預(yù)測(cè)未來的市場(chǎng)根本不靠譜。普林斯頓大學(xué)經(jīng)濟(jì)學(xué)教授伯頓·麥基爾早在1973年的暢銷作品《漫步華爾街》中就指出，把一只猴子蒙上雙眼后讓它向報(bào)紙的金融版擲飛鏢而選中的投資組合，和那些專家經(jīng)過大量研究而謹(jǐn)慎選擇的投資組合相比，盈利性可能一樣好。近幾年甚至有研究者提出，麥基爾的這種看法低估了猴子（應(yīng)該是高估了基金經(jīng)理吧）。2008年，好事的俄國人更是用實(shí)驗(yàn)證明了這一點(diǎn)。俄羅斯《財(cái)經(jīng)周刊》從馬戲團(tuán)找來一只猴子，讓它從代表不同股票的牌子中選擇8支進(jìn)行模擬投資組合，并投入100萬虛擬盧布。一年后，當(dāng)金融專家再次觀察猴子所選股票的表現(xiàn)時(shí)不由大吃一驚，其市值上漲了近3倍，跑贏了94%的基金。

必須承認(rèn)，我們處于一個(gè)不確定的世界里，有許多事件是無法預(yù)測(cè)的。過分依賴大數(shù)據(jù)和預(yù)測(cè)模型是危險(xiǎn)的，因?yàn)橛性S多決定性的影響因素都不能納入模型參數(shù)的覆蓋范圍之內(nèi)。從天氣預(yù)報(bào)、地震預(yù)測(cè)、足球比賽到金融危機(jī)等等，都對(duì)這一點(diǎn)做了很好的詮釋。

8、誤導(dǎo)性：數(shù)據(jù)也會(huì)說謊

與大數(shù)據(jù)的代表性、真實(shí)性、完整性、解釋性等局限性相關(guān)的，對(duì)統(tǒng)計(jì)現(xiàn)象只看結(jié)果不重解釋，很可能導(dǎo)致錯(cuò)誤甚至危險(xiǎn)的結(jié)論。二戰(zhàn)時(shí)期英國與德國的空戰(zhàn)中，工程師發(fā)現(xiàn)，每次戰(zhàn)斗機(jī)回來機(jī)翼上都帶有很多槍眼，因此認(rèn)為機(jī)翼是最容易受到攻擊的地方，需要進(jìn)行特別防護(hù)?？墒窃黾臃雷o(hù)之后，飛機(jī)的損失率不但沒有降低，反而提高了。問題究竟出在哪呢？原來工程師們被這一統(tǒng)計(jì)結(jié)果誤導(dǎo)了，從而采取了錯(cuò)誤地防護(hù)措施。對(duì)機(jī)翼槍眼的統(tǒng)計(jì)只針對(duì)成功返航的飛機(jī)，而那些不幸的飛機(jī)被擊落的原因并沒有被統(tǒng)計(jì)和發(fā)現(xiàn)。相反，機(jī)翼受損還能飛回來，說明機(jī)翼被攻擊并不是飛機(jī)被擊落的主要原因。至于為什么增加防護(hù)后飛機(jī)損失率反而提高了，原因很簡(jiǎn)單，因?yàn)樨?fù)荷增加降低了飛機(jī)的靈活性和航程。后來，工程師們反其道而行之，在沒有槍眼的部位加強(qiáng)防護(hù)，因?yàn)檫@些部位被擊中的飛機(jī)都沒有返航，事實(shí)證明效果良好。

9、合法性：數(shù)據(jù)安全與隱私保護(hù)

大數(shù)據(jù)本身及其采集、使用過程都極有可能會(huì)涉及個(gè)人隱私、商業(yè)機(jī)密、公眾權(quán)益和國家信息安全。因此，安全性和合法性問題構(gòu)成了大數(shù)據(jù)價(jià)值發(fā)揮的限制性因素之一。

商業(yè)和技術(shù)很重要，但商業(yè)和技術(shù)背后的價(jià)值觀更重要。

Google曾將"不作惡"作為自己的公司價(jià)值觀；百度為了短期商業(yè)利益售賣多個(gè)貼吧，公然踐踏公眾隱私，結(jié)果遭千夫所指，萬人唾罵。這些都充分反映了公眾對(duì)隱私和信息安全的關(guān)注和重視。

白宮曾在2014年發(fā)表書面聲明稱，大數(shù)據(jù)創(chuàng)造的社會(huì)價(jià)值與經(jīng)濟(jì)價(jià)值得以遵從該國提倡的“隱私、公正、平等、自主”。中國政府在此方面雖然尚未立法，也從來沒有明確的說法，但民眾的基本權(quán)益和訴求理當(dāng)被審慎考慮。

誠然，安全性、合法性要求限制了大數(shù)據(jù)的使用和商業(yè)價(jià)值的充分發(fā)揮，但從社會(huì)價(jià)值的角度來看，是值得的，也是必須的。

10、價(jià)值性：投入與收益的平衡

價(jià)值密度低是被公認(rèn)的大數(shù)據(jù)特征之—，這也在一定程度上限制了大數(shù)據(jù)的研究和應(yīng)用。

一方面，因?yàn)榇髷?shù)據(jù)的低密度價(jià)值特征，那么要使其價(jià)值達(dá)到可用的程度，就必須有足夠規(guī)模的數(shù)據(jù)積累和有效的價(jià)值提取。以常規(guī)的監(jiān)控視頻為例，連續(xù)24小時(shí)的視頻監(jiān)控中，有用的數(shù)據(jù)可能僅有數(shù)秒。如何優(yōu)化存儲(chǔ)，并通過強(qiáng)大的機(jī)器能力迅速完成數(shù)據(jù)的加工處理和價(jià)值呈現(xiàn)，到目前為止還是大數(shù)據(jù)面臨的一大難題。另一方面，大數(shù)據(jù)邊際效用遞增規(guī)律的存在，使許多企業(yè)、組織的數(shù)據(jù)無法達(dá)到基本的規(guī)模要求，從而也使其數(shù)據(jù)價(jià)值無法充分顯現(xiàn)。

同時(shí)，前面講到的大數(shù)據(jù)代表性、真實(shí)性、完整性、解釋性上的不足及由此引起的結(jié)論誤導(dǎo)，不僅會(huì)降低數(shù)據(jù)的價(jià)值，甚至可能產(chǎn)生負(fù)面作用。

除此之外，大數(shù)據(jù)的采集、存儲(chǔ)、加工和使用所耗費(fèi)的資金和時(shí)間成本都是非常高昂的。作為大數(shù)據(jù)投資主體，應(yīng)該在投入和收益之間進(jìn)行合理平衡。當(dāng)前的確存在那么一種勢(shì)力，為了某種目的極力鼓動(dòng)企業(yè)進(jìn)行大規(guī)模的大數(shù)據(jù)投資，如果不審慎評(píng)估，很可能得不償失。

在此講了這么多大數(shù)據(jù)的局限性，最后再次重申，并非要以此否定大數(shù)據(jù)的價(jià)值；同時(shí)，也要再次強(qiáng)調(diào)，大數(shù)據(jù)代表的只是信息，而非智慧。對(duì)世界的改造僅憑有限的信息是遠(yuǎn)遠(yuǎn)不夠的，更需要人類取之不盡、用之不竭的智慧。只有用好了項(xiàng)上這顆六斤四，才能逐步突破大數(shù)據(jù)的局限性，更好地發(fā)揮大數(shù)據(jù)價(jià)值。