
推動了機(jī)器智能的大數(shù)據(jù),為什么還應(yīng)用不起來
要想考察大數(shù)據(jù)最好同時考察大數(shù)據(jù)背后的技術(shù)、商業(yè)和社會維度。從發(fā)展成熟度來看,技術(shù)維度走的最遠(yuǎn)、商業(yè)維度有所發(fā)展但不算全面成熟,社會維度發(fā)展最差。
所以雖然已經(jīng)談了很久大數(shù)據(jù),但除了孕育出大數(shù)據(jù)自身的幾個領(lǐng)域比如搜索等,其它領(lǐng)域卻并沒有從大數(shù)據(jù)中獲得可見的收益。大多時候人們還是處在覺得這里肯定有金子,但需要更多的耐心的狀態(tài)。這篇文章則嘗試對大數(shù)據(jù)本身的特征做點挖掘,對未來的發(fā)展趨勢做點預(yù)測。
大數(shù)據(jù)上的深度和廣度
如果把大數(shù)據(jù)對應(yīng)到海量的數(shù)據(jù),那它就是非常含糊的概念,相當(dāng)于變成信息的同義詞,顯然也就很難回答信息到底能干什么這樣的問題。
這時候為了推進(jìn)思考通常需要先分類。如果把時間空間作為最基本的視角,那首先要區(qū)分的就是大數(shù)據(jù)的深度和廣度。從時間的角度看大數(shù)據(jù)是完整的歷史,從空間的角度看大數(shù)據(jù)是全球活動的痕跡。前者可以看成一種深度,后者可以看成一種廣度,不同的場景對深度和廣度的側(cè)重有所不同。
對于有些垂直的行業(yè),比如醫(yī)療,大數(shù)據(jù)的深度更重要,所有的歷史都可以在數(shù)據(jù)上得到找到之后,人們就可以更好的認(rèn)知并優(yōu)化相應(yīng)的行業(yè)。
對社會而言,很多時候廣度則更重要,具體到某個場景我們只有一鱗半爪的消息,但當(dāng)這種信息足夠多,范圍足夠廣,就有可能描述出相對及時的全貌。經(jīng)常舉的Google預(yù)測傳染病的例子依賴的就是這種廣度。
這點決定了大數(shù)據(jù)的應(yīng)用發(fā)展趨勢,在深度重要的地方,公司這類組織需要成為主體,困難是如何跨越數(shù)據(jù)所有權(quán)的邊界。對于醫(yī)院而言,顯然把所有治療案例數(shù)據(jù)化并共享是有好處的,但如果只有一個醫(yī)院這么做,那對這一家醫(yī)院而言更多的可能是隱私上反彈所帶來的壞處。
在廣度重要的地方,雖然在搜索這樣的領(lǐng)域里公司也可以受益,但真正可以從大數(shù)據(jù)全面受益的機(jī)構(gòu)其實是政府。數(shù)據(jù)越廣,其所描述的主體就越大,而如果描述的是整個社會,那顯然應(yīng)該是社會的主要責(zé)任人會從中受益。這是個常識問題,就和看病的時候不會吃了醫(yī)生給別人開的藥自己反倒好了差不多。有的時候央視會播放百度做的春節(jié)期間人員流動圖,這件事情也正好可以從側(cè)面說明這問題。這種人員流動地圖對能做出地圖的人公司幫助遠(yuǎn)沒有對政府的幫助大。
簡單總結(jié)下就是:深度和廣度兩個方向?qū)?shù)據(jù)的要求不同,前者需要更為詳盡、有質(zhì)量的數(shù)據(jù)源后者則對此要求不高,但兩者在應(yīng)用的時候都會面臨付出回報不對等問題。大數(shù)據(jù)傾向于描述整體,而有能力收集或處理大數(shù)據(jù)的往往是個體,個體的回報在整體的提升中并不容易獲得清晰體現(xiàn)。
所以說現(xiàn)在大數(shù)據(jù)發(fā)展的瓶頸不是技術(shù),而是背后所需要的分配關(guān)系的建立。這種關(guān)系理不順,數(shù)據(jù)就會停留在孤島層面,每個組織都有自己的東西,并把它命名為“大數(shù)據(jù)”。而為了理順這種關(guān)系則要回到一個非常經(jīng)典的問題,“公地”到底可不可以建立。
數(shù)據(jù)公地的設(shè)想
大數(shù)據(jù)其實有點像公地,在經(jīng)濟(jì)學(xué)里非常出名的一個論點是公地悲劇?!睹绹?jīng)濟(jì)史》舉了一個非常易懂的例子來說什么是公地悲?。?/span>
".....這些經(jīng)濟(jì)推理命題有利于解釋集體所有制和產(chǎn)出的共享(平分或固定份額)如何導(dǎo)致“免費搭車者”問題。為了說明這一點,考慮共享土地所有權(quán),且共同生產(chǎn)了100蒲式耳玉米的10個工人,平均每人消費10蒲式耳玉米。假設(shè)一個工人開始偷懶并將其勞動努力減半,從而導(dǎo)致產(chǎn)出減少5蒲式耳。由于產(chǎn)出共享制度的安排,偷懶者的消費量和其它工人一樣,現(xiàn)在都是9.5蒲式耳。盡管他的努力已經(jīng)下降了50%,但他的消費量只下降了5%。偷懶者是在搭他人勞動的便車......"
這背后有非常深刻的人性問題,即使我們可以通過努力協(xié)作創(chuàng)造更多的財富,個人也可以從中分享更多,但在群體里明顯的個人傾向則是自己工作更少但分享更多。這與囚徒困境其實是相通的。
基于實物的世界里眼下看不到徹底解決這問題的方法,只能依賴于某種被大家基本認(rèn)可的分配秩序,比如:以前的血統(tǒng)現(xiàn)在的物競天擇,但基于比特的數(shù)字財富眼下看卻有解決這問題的可能。
基于比特的數(shù)據(jù)與實物最大的區(qū)別是,數(shù)據(jù)并非是你拿走我就沒有的東西,并且硬件的價格在飛速下降,開源又使數(shù)據(jù)的訪問工具基本免費。這幾者疊加在一起,使數(shù)據(jù)公地成為可能。
這里面很有意思的問題是,如果大家更在意我拿到的東西是不是絕對值變大了,那數(shù)據(jù)公地的形成可能性就大些。因為如果存在數(shù)據(jù)公地,那每個人(企業(yè))一定收獲更多,但如果大家更在意我是不是比你多,那數(shù)據(jù)公地的建設(shè)就會多很多障礙,因為公地其實是讓相關(guān)人員站到同樣的競爭起點上。
大數(shù)據(jù)的問題,在數(shù)據(jù)的使用上是技術(shù)問題,但在數(shù)據(jù)源上其實是社會經(jīng)濟(jì)問題,后者更難,所以大數(shù)據(jù)應(yīng)用的發(fā)展不取決于技術(shù)的發(fā)展而取決于社會經(jīng)濟(jì)方式的變革速度。在有限的領(lǐng)域里,比如搜索、電商、云計算,技術(shù)已經(jīng)得到比較充分的發(fā)展,眼下來看誰付出誰受益的問題是把小數(shù)據(jù)變成大數(shù)據(jù)過程中最主要的問題。
大數(shù)據(jù)的路往那里走?
數(shù)據(jù)的內(nèi)在發(fā)展動力是數(shù)據(jù)越全價值越大,其實這也是一種網(wǎng)絡(luò)效應(yīng),這種內(nèi)在動力導(dǎo)致宏觀來看數(shù)據(jù)所有權(quán)的發(fā)展只有兩種趨勢:
一種是像現(xiàn)在移動端一樣,每個人都有自己的私有數(shù)據(jù)源,接下來開始你死我活的競爭,最終有一家活下來,這也可以達(dá)成數(shù)據(jù)統(tǒng)一的終極目標(biāo)。
另一種則是在競爭中開始聯(lián)合,建設(shè)上面所說的數(shù)據(jù)公地。
如前所述行業(yè)數(shù)據(jù)和全社會的數(shù)據(jù)性質(zhì)上差別很大所以要分開來探討。
對于行業(yè)數(shù)據(jù)而言,競爭對手間彼此的坦誠合作除非有極為特別的人物出現(xiàn),否則是不太可能的。這種情況下最簡單的辦法是引入第三方。
比如說每家運營商都握有幾乎所有網(wǎng)民的行動數(shù)據(jù),但要想讓運營商彼此間開誠布公地合作,并把這些數(shù)據(jù)整合在一起創(chuàng)造某種價值,這就很難。這時候如果有第三方介入,制定好利益分配方案那就是可能的。
如果這點可以達(dá)成,那唯一的關(guān)鍵點就是相應(yīng)的商業(yè)模式是不是可以超越數(shù)據(jù)處理的成本。這點必須強(qiáng)調(diào)下的是,大數(shù)據(jù)的價值密度是很稀疏的,很多東西有價值但并不一定值得做,視頻網(wǎng)站之所以賺不到錢一個關(guān)鍵原因就是帶寬和存儲的成本比較高,而對大數(shù)據(jù)而言商業(yè)模式找不好,情形可能比視頻網(wǎng)站還差。挖礦的成本怎么也要小于挖礦所得挖礦才有價值。
上述問題在行業(yè)數(shù)據(jù)里可能問題還不是太大,一般來講行業(yè)數(shù)據(jù)的價值密度終究會大一些,并且因為相對比較垂直,總量終究有限制。所以大數(shù)據(jù)的行業(yè)應(yīng)用比較容易發(fā)展。
但對社會性的數(shù)據(jù),這在很多時候就是個問題。我們都知道樣本的全面性比數(shù)據(jù)的多少更有價值,但是如果多是確保樣本全面性的唯一手段的話,那就意味必須有全的數(shù)據(jù)做一件事情才有意義。
社會化的數(shù)據(jù)有兩種應(yīng)用方向,一種就是企業(yè)可以搞定的比如Google,一種則是屬于社會層面,很難單獨屬于某個企業(yè)的比如智慧城市相關(guān)的人的活動數(shù)據(jù)。后者則需要上面所說的數(shù)據(jù)公地來做支撐。
從數(shù)據(jù)的視角來看,現(xiàn)在有兩種數(shù)據(jù)存放形式:一種是Google這樣的企業(yè)擁有整個社會某個橫截面上的全部數(shù)據(jù),這應(yīng)該是種特例,并且數(shù)據(jù)會局限在公開信息;一種則是被割裂的各種與人行為相關(guān)的數(shù)據(jù),比如購物相關(guān)的在電商,與人相關(guān)的在社交網(wǎng)絡(luò)和IM,線下服務(wù)相關(guān)的則在O2O企業(yè),鐵路相關(guān)的在12306等。Google這種擁有全的數(shù)據(jù),但并不擁有人的行為,所以說Google這種企業(yè)相當(dāng)于擁有整個社會的一個橫截面的數(shù)據(jù)。而所有其它企業(yè)則只擁有某個垂直領(lǐng)域的數(shù)據(jù)。
如果依賴于企業(yè)做這種數(shù)據(jù)統(tǒng)一的嘗試,在前者就會有投資200億做O2O類的舉動,因為這會補全數(shù)據(jù),在后者就會有做電商的想做社交,做社交的想做電商這類事發(fā)生。類似的故事還可以在終端上發(fā)生,所有這些行為的終極目標(biāo)都是一家企業(yè)搞定所有這些事情,但這是不可能的,這種不可能還不單是經(jīng)濟(jì)原因。
而數(shù)據(jù)不能打通,那就只能在割裂的數(shù)據(jù)上做自以為是大數(shù)據(jù)的大數(shù)據(jù)。
所以說這骨子里是數(shù)據(jù)公地究竟能不能建立的問題,而要想建立數(shù)據(jù)公地,那至少要解決誰來做的問題,對此開源給出的啟示有兩點非常關(guān)鍵:第一這不能是個盈利組織;第二這要能獲得眾多企業(yè)的支持。因為數(shù)據(jù)會牽涉隱私,所以同開源相比那就一定還要有比較清晰的界定數(shù)據(jù)使用的規(guī)則。
小結(jié)
在有一種切實的辦法解決數(shù)據(jù)所有和使用權(quán)之前,大數(shù)據(jù)的應(yīng)用應(yīng)該還都是局部的。因為它的深度應(yīng)用牽涉社會很多部分的彼此協(xié)調(diào),所以這個過程可能是非常漫長的。
這里面有意思的事情是,大數(shù)據(jù)的出現(xiàn)直接推動了機(jī)器智能的發(fā)展,而機(jī)器智能產(chǎn)生影響的速度可能會遠(yuǎn)快于大數(shù)據(jù)本身。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07