
大數(shù)據(jù)的價值:找到別人的“集體智慧”
今天,大數(shù)據(jù)已在營銷、風(fēng)險控制等領(lǐng)域已大放異彩;而在可預(yù)見的未來,基于大數(shù)據(jù)的諸多模式創(chuàng)新,將帶給我們無限的想象空間。大數(shù)據(jù)部門該放在運營團隊還是技術(shù)團隊?在車品覺看來,糾結(jié)于此類問題的企業(yè),距離大數(shù)據(jù)的法門尚遠(yuǎn)。車品覺認(rèn)為,大數(shù)據(jù)應(yīng)該是CEO直接領(lǐng)導(dǎo)的戰(zhàn)略級部門,是一把開啟新世界大門的鑰匙。今天,大數(shù)據(jù)已在營銷、風(fēng)險控制等領(lǐng)域已大放異彩;而在可預(yù)見的未來,基于大數(shù)據(jù)的諸多模式創(chuàng)新,將帶給我們無限的想象空間。
三大顛覆性變化正在發(fā)生,將爆發(fā)驚人威力
最近,我去了一趟美國,看到大數(shù)據(jù)的幾個變化,這些變化有可能極大地改變世界。
第一個變化是開始從被動搜集數(shù)據(jù),轉(zhuǎn)變?yōu)橹鲃铀鸭瘮?shù)據(jù)。美國一家公司現(xiàn)場給我們表演,電視里正在播放新聞,他們把手機放在電視機旁,手機很快識別出這是CNN新聞頻道,以及正在播出什么內(nèi)容。我們?nèi)齻€人拿出自己的手機,手機同時放三首不同的歌,他們的軟件很快辨別出這三首歌是什么,以及作為背景正在播放的電視新聞。這意味著,非結(jié)構(gòu)性的數(shù)據(jù)編程結(jié)構(gòu)性數(shù)據(jù),開始從被動搜集數(shù)據(jù)轉(zhuǎn)變?yōu)橹鲃铀鸭瘮?shù)據(jù)。
第二個變化是非實時轉(zhuǎn)實時。滴滴打車的數(shù)據(jù)可以說明不同地點的人流情況,但是零售業(yè)得到了這些數(shù)據(jù),又如何觸到它的用戶群呢?大家知道這個世界有一個,DSP(Demand-Side Platform 需求方平臺),作為中間方,DMP記錄用戶去了哪個網(wǎng)站,用了什么APP。當(dāng)人使用APP時,數(shù)據(jù)會告訴DSP,這個人出現(xiàn)在了某一個地方,DSP就能夠幫商戶做智能投放。由于背后有大數(shù)據(jù)支撐,放在很短的時間內(nèi)就能完成。這種模式對營銷來說,絕對是一個顛覆。
另外,還有一個非常重要的變化是對話。美國有兩大公司,幾乎同時宣布了一項戰(zhàn)略性科技——對話的人工智能。比如,你的房間有一個音響,這個音響同時是一個傳感器。當(dāng)你說“我要買一瓶醬油”,音響會和你說:“老板,你是不是要買你之前買過的醬油?”你說:“不是,我要買新的?!彼蜁嬖V你,新的醬油以及同樣差不多的有幾種,建議你選擇哪種。這個變化將引發(fā)一個大的顛覆。
隱私+歸屬權(quán):從混沌走向清晰
說到大數(shù)據(jù),不得不提的是大數(shù)據(jù)與隱私這個問題。
這次在美國,見到一個在隱私問題上給美國總統(tǒng)提意見的專家。他說,關(guān)于個人隱私會有一個顛覆性的變化,這一變化在歐洲已經(jīng)開始了,現(xiàn)在是美國。過去,當(dāng)用戶使用一個應(yīng)用時,都會和應(yīng)用方簽訂一個協(xié)議,表明用戶同意把自己的數(shù)據(jù)交給應(yīng)用方以改善用戶體驗。但是,大部分人都不知道自己同意的是什么,僅僅是點擊了“同意”。美國的法律對此準(zhǔn)備進(jìn)行修改,這可能會改變大數(shù)據(jù)產(chǎn)業(yè)。
在這個變化中有個問題,數(shù)據(jù)分可識別數(shù)據(jù)、不可識別數(shù)據(jù)?;ヂ?lián)網(wǎng)上的數(shù)據(jù),有的可以識別是你,有的不可以識別是你。當(dāng)不能完全知道他是誰,沒有辦法和他說你是否同意時該怎么辦?現(xiàn)在,美國正在認(rèn)真討論類似的事情。
另一個問題是數(shù)據(jù)的擁有權(quán)是誰?早期大家是按照實物的思路,來定義數(shù)據(jù)擁有權(quán)的法律,后來發(fā)現(xiàn)這條路撞墻了。數(shù)據(jù)的可愛之處就是看見就看見了,不在于是你拿著還是我拿著。法律界已經(jīng)開始關(guān)注這個問題。
關(guān)于隱私問題,大部分用戶更多是希望平衡好,你不能拿到我的數(shù)據(jù)我一點好處都沒有,你拿了數(shù)據(jù)使用我卻一點都不知道。所以,問題是誰有權(quán)控制?比如臉書,每一次使用用戶數(shù)據(jù),會告訴用戶,這個數(shù)據(jù)會在某個點使用,這就涉及數(shù)據(jù)使用透明和是否可控的權(quán)利問題。這個行業(yè)里面很多人不想講這個問題,但并不是不知道。但這是我們做大數(shù)據(jù)的人必須要慢慢解決的,否則這是一個定時炸彈。
當(dāng)然,有大量的數(shù)據(jù)不相關(guān)隱私。比如,用1000個人或者5000個人的數(shù)據(jù)算出來的結(jié)果,當(dāng)做大數(shù)據(jù)營銷的時候,有沒有把他捆綁在5000個人當(dāng)中營銷?美國有些法案很可愛,認(rèn)定個人數(shù)據(jù)的隱私問題不是放在單獨的案例當(dāng)中,而是放在行業(yè)里面。我問專家,為什么要放在行業(yè)里面?他說,個人隱私和行業(yè)有關(guān),比如賣藥的,個人隱私的監(jiān)管就會非常嚴(yán)格,而游戲類的個人數(shù)據(jù)會相對簡單一些。在歐洲則是一套法律,不分行業(yè)。歐洲人認(rèn)為,隱私是一個人的底線。而美國認(rèn)為價值和隱私之間可平衡。這些都是未來大家都會議論的課題。
做好縫合,不斷迭代
大數(shù)據(jù)的本身是異構(gòu)異類的數(shù)據(jù),就像裁縫把不同的材料縫成一件衣服一樣,需要很多技術(shù)把數(shù)據(jù)連接起來,讓這些數(shù)據(jù)可以使用。不同材料縫合在一起,中間會有一些縫合處。
美國任何一個做大數(shù)據(jù)的人,都會告訴你數(shù)據(jù)關(guān)聯(lián)很難。美國可以把數(shù)據(jù)關(guān)聯(lián)起來的公司有幾家。美國大數(shù)據(jù)行業(yè)在產(chǎn)業(yè)鏈上,是可以分工的。你干這個,我干那個,大家協(xié)同把東西做出來。這和中國的情況是有區(qū)別的。
要把大數(shù)據(jù)整合起來,數(shù)據(jù)源好不好非常重要。另外有沒有不同的環(huán)境可以進(jìn)行數(shù)據(jù)測試,也很重要。
數(shù)據(jù)是迭代的,算法是迭代的,產(chǎn)品服務(wù)也是迭代的。數(shù)據(jù)有不同的版本、算法有不同的版本,我們要找到最優(yōu)、同一個語境下最好的算法,達(dá)到最好的服務(wù)。
將大數(shù)據(jù)變成企業(yè)的洞察力和行動力
對于企業(yè)來說,需要將大數(shù)據(jù)變成企業(yè)的洞察力、行動力。10年前,商業(yè)決策都是靠經(jīng)驗驅(qū)動,用數(shù)據(jù)證明自己的判斷是對的。而數(shù)據(jù)驅(qū)動,則要擁有足夠的數(shù)據(jù),通過數(shù)據(jù)發(fā)現(xiàn)一些以前沒有看到的東西。
比如,有一些人在購物網(wǎng)站搜索過的關(guān)鍵詞,兩個月后會成為比較流行的關(guān)鍵詞。當(dāng)我們深入分析時,數(shù)據(jù)會告訴我們,購物里面是有達(dá)人的,購物達(dá)人看的東西和普通人不一樣,他們有自己的方法尋找自己想要的商品。如果能跟蹤這些達(dá)人,就可以找到用一般推薦引擎無法找到的東西。
一個學(xué)習(xí)的完整體系,簡單來講,首先有目標(biāo)定義,之后進(jìn)行決策、行動、拿到行動結(jié)果之后學(xué)習(xí)。人類學(xué)習(xí)的一般方法,都是根據(jù)這個鏈路進(jìn)行,這叫“自學(xué)習(xí)”:用自己的經(jīng)驗慢慢積累,進(jìn)行一個自我循環(huán)。
當(dāng)我們開始做大數(shù)據(jù)的時候,你會發(fā)現(xiàn),別人的數(shù)據(jù)會成為你的經(jīng)驗。你也可以把別人的數(shù)據(jù)代入自己的決策,學(xué)習(xí)到別人的經(jīng)驗,這叫“集體智慧”。在大數(shù)據(jù)當(dāng)中,我們可以找到別人的集體智慧。
大數(shù)據(jù)里的創(chuàng)新,可以有三個層面:數(shù)據(jù)的創(chuàng)新、算法的創(chuàng)新、服務(wù)的創(chuàng)新。
下面這張圖中有四個坐標(biāo):數(shù)據(jù)集中、數(shù)據(jù)分散、問題清楚、問題不清楚。過去我們可以解決的是數(shù)據(jù)集中、問題很清楚的部分,后來開始出現(xiàn)很多碎片化、分散的數(shù)據(jù),我們發(fā)現(xiàn)可以用零散的、沒有集合、沒有結(jié)構(gòu)化的數(shù)據(jù),更好地解決原來的問題。
舉一個例子,有一個網(wǎng)站雖然有幾億用戶群,但只有幾百萬人買彩票。如何找到更多用戶到這個網(wǎng)站上買彩票呢?按以往的方法,先描述買彩票的人是什么樣的,經(jīng)驗認(rèn)為男的比較喜歡買彩票,年紀(jì)應(yīng)該是25-35歲。而用大數(shù)據(jù)的方法,則是想猜用戶下一步想做什么,可以看4周之內(nèi)用戶有沒有看過彩票的內(nèi)容,如果有,那他就是一個希望要買彩票的人,只是沒有在網(wǎng)站里買。用這個思路,我們發(fā)現(xiàn)買彩票的女性比男性多,而且往往是在辦公室里買的多。這樣一來,數(shù)據(jù)就指明了哪些人在哪些地點是最好去做營銷的。
對于數(shù)據(jù)零散且問題不是很清楚,大數(shù)據(jù)同樣可以解決。比如在面對不知道客戶是什么樣的人,只知道這些人是重復(fù)購買的人,而想要用大眾標(biāo)簽去描述這些人時,可以先猜1000個人,對他們進(jìn)行營銷,發(fā)現(xiàn)有些人被猜對,有些人被猜錯。對猜對的那部分人繼續(xù)深入,慢慢就會越做越準(zhǔn)確。這就是我通常講的“用數(shù)據(jù)養(yǎng)數(shù)據(jù)”。
一個公司有沒有大數(shù)據(jù)能力,一般看他有沒有預(yù)測能力和行動能力。但是布點/收集、存儲/刷新、識辨/關(guān)聯(lián),也很重要。前者是如何讓數(shù)據(jù)更容易使用,后者是如何讓數(shù)據(jù)更有效關(guān)聯(lián)在一起。這個閉環(huán)如果可以做好,就可以做一個非常好的數(shù)據(jù)產(chǎn)品。
考量“好數(shù)據(jù)”的六把標(biāo)尺
好的數(shù)據(jù),六個衡量標(biāo)準(zhǔn)是缺一不可。缺少其中任何一個,數(shù)據(jù)質(zhì)量就會下降。有的數(shù)據(jù)很稀缺,很獨家,那就是數(shù)據(jù)價值。數(shù)據(jù)質(zhì)量,主要要看準(zhǔn)不準(zhǔn),但還要看全不全。如果你只拿到安卓的數(shù)據(jù),沒有拿到蘋果的數(shù)據(jù),那就不全。一段段很零散的數(shù)據(jù)買過來,沒有連續(xù)性的數(shù)據(jù)也是不行的。需要找很可靠的伙伴來提供算法、數(shù)據(jù)、服務(wù)。
一家公司是否能用好自己的數(shù)據(jù),首先要看一個公司高管、員工有沒有意愿,接著看工具。有意愿、有能力、有工具的前提下,才談到整個公司一定要對數(shù)據(jù)有自己的方向,有組織保障,以及執(zhí)行到位。
信息數(shù)據(jù)化的情況還沒有結(jié)束,包括應(yīng)用無線化。對話性的產(chǎn)品,將是顛覆世界的產(chǎn)品?;拥漠a(chǎn)品,將來或許會越來越多,這也是我們在創(chuàng)新產(chǎn)品時非常大的機會。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
2025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價值的煉金術(shù)》一書中指出:AI思維, ...
2025-07-17數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價值的橋梁? 在數(shù)據(jù)驅(qū)動決策的時代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對這樣的場景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動的數(shù)據(jù)曲線尋找增長密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動業(yè)務(wù)增長的實戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實踐 在 MySQL 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運維與開發(fā)中,開發(fā)者和 DBA 常會 ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟時代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動的時代,面對海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導(dǎo)白皮書) 發(fā)布機構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10