
大數(shù)據(jù)如何幫助企業(yè)決策
大數(shù)據(jù)也是未來最重要的生產(chǎn)要素。目前在大數(shù)據(jù)營銷、大數(shù)據(jù)信用與風(fēng)險控制類應(yīng)用方向有了不少成功的實踐。我們相信未來的創(chuàng)新模式將會圍繞著數(shù)據(jù)的跨界融合衍生出數(shù)據(jù)服務(wù)新產(chǎn)業(yè)。企業(yè)內(nèi)外數(shù)據(jù)、線上線下數(shù)據(jù)融合產(chǎn)生化學(xué)反應(yīng),基于數(shù)據(jù)的創(chuàng)新模式給我們無限想象空間。
大數(shù)據(jù)領(lǐng)域正在出現(xiàn)的三大顛覆性變化
最近,我去了一趟美國,看到了大數(shù)據(jù)的幾個變化,這些變化有可能極大地改變世界。第一個變化是開始從被動搜集數(shù)據(jù),轉(zhuǎn)變?yōu)橹鲃铀鸭瘮?shù)據(jù)。在美國接觸了一個公司,他們現(xiàn)場給我們表演,電視里在播出一個新聞,他們把手機(jī)放在電視機(jī)旁,手機(jī)很快識別出這是CNN新聞頻道和正在講的內(nèi)容。我們?nèi)齻€人拿出自己的手機(jī),手機(jī)同時播不同的三首歌。他們的軟件很快辨別出這三首歌是什么,而同時電視里的新聞還在播放,所以軟件識別出來的是三首歌和作為背景正在播放的新聞。這意味著非結(jié)構(gòu)性的數(shù)據(jù)編程結(jié)構(gòu)性數(shù)據(jù),開始從被動搜集數(shù)據(jù),轉(zhuǎn)變主動搜集數(shù)據(jù)。
第二個變化是非實時轉(zhuǎn)實時。滴滴打車的數(shù)據(jù)可以說明不同地點(diǎn)的人流情況。但這對零售業(yè)有什么用處呢?即使零售業(yè)得到了這些數(shù)據(jù),但如何觸達(dá)它的用戶群呢?大家知道,這個世界有一個DSP,DSP是一個中間方,記錄用戶去了哪個網(wǎng)站,用了什么APP。當(dāng)這個人使用APP時,這個數(shù)據(jù)告訴DSP,這個人出現(xiàn)在了某一個地方。DSP就幫商戶把廣告放進(jìn)去,做智能投放。由于背后有大數(shù)據(jù)支撐,這個投放在很短的時間內(nèi)就能完成。這種對營銷來說,絕對是一個顛覆。
另外,還有一個非常重要的變化是對話。美國有兩大公司,幾乎同時宣布了一個戰(zhàn)略性的科技——對話的人工智能。比如在你的房間有一個音響,這個音響同時是一個傳感器。當(dāng)你說我要買一個醬油,音響會和你說:“老板,你是不是要買你之前買過的醬油?”你說:“不是,我要買新的”。它就會告訴你,新的醬油和那個同樣差不多的有幾種,建議你要選擇哪種。這個變化將引發(fā)一個大的顛覆。
大數(shù)據(jù)與隱私
說到大數(shù)據(jù),不得不提的是大數(shù)據(jù)與隱私這個問題。
這次在美國,見到一個在隱私問題上給美國總統(tǒng)提意見的專家。他說,關(guān)于個人隱私會有一個顛覆性的變化,這一變化在歐洲已經(jīng)開始了,現(xiàn)在是美國。過去,當(dāng)用戶使用一個應(yīng)用時,都會和應(yīng)用方簽訂一個東西,標(biāo)明用戶同意把自己的數(shù)據(jù)交給應(yīng)用方,去改善用戶體驗。但是,大部分人都不知道自己同意的是什么,僅僅是點(diǎn)擊了“同意”。美國的法律對此準(zhǔn)備有所修改,這可能會改變大數(shù)據(jù)產(chǎn)業(yè)使用數(shù)據(jù)時候的權(quán)利。在這個變化中有個問題,數(shù)據(jù)分可識別數(shù)據(jù)、不可識別數(shù)據(jù)?;ヂ?lián)網(wǎng)的數(shù)據(jù),有的數(shù)據(jù)可以識別是你,有的不可以識別是你。當(dāng)你不能完全知道他是誰,沒有辦法和他說你是否同意時該怎么辦?,F(xiàn)在美國正在認(rèn)真討論類似的事情。
另一個問題是數(shù)據(jù)的擁有權(quán)是誰?早期大家對數(shù)據(jù)擁有權(quán)是用實物來定法律,后來發(fā)現(xiàn)這條路撞墻了。數(shù)據(jù)的可愛之處就是看見就看見了,不在于你拿著還是我拿著。這個問題在法律、大數(shù)據(jù)行業(yè)中已經(jīng)開始關(guān)注。
關(guān)于隱私問題,大部分用戶更多是希望平衡好,你不能拿到我的數(shù)據(jù)我一點(diǎn)好處都沒有,你拿了數(shù)據(jù)使用我一點(diǎn)都不知道,這不行。所以,問題就誰有權(quán)利控制?比如臉書,每一次使用用戶數(shù)據(jù),會告訴用戶,這個數(shù)據(jù)會在某個點(diǎn)里使用,這就涉及數(shù)據(jù)使用透明和是否可控的權(quán)利問題。這個行業(yè)里面很多人不想講這個問題,但并不是不知道。但這是我們做大數(shù)據(jù)的人,必須要慢慢解決的,否則這是一個定時炸彈。當(dāng)然,有大量的數(shù)據(jù)不相關(guān)隱私,比如用1000個人或者5000個人的數(shù)據(jù)算出來的結(jié)果。當(dāng)做大數(shù)據(jù)營銷的時候,有沒有把他捆綁在5000個人當(dāng)中營銷?美國有些法案很可愛,個人數(shù)據(jù)的隱私問題不是放在單獨(dú)的方案當(dāng)中,而是放在行業(yè)里面。當(dāng)時我問專家,為什么要放在行業(yè)里面?他說,個人隱私和行業(yè)有關(guān),如果是賣藥的,個人隱私的監(jiān)管會非常嚴(yán)格。如果這個東西屬于游戲類的個人數(shù)據(jù),相對簡單一些。而歐洲,整個法律是一套過去,不講行業(yè)。歐洲人認(rèn)為,隱私是一個人的底線。而美國,認(rèn)為價值和隱私之間可平衡。這些都是未來大家都會議論的課題
做好數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)產(chǎn)品的迭代
大數(shù)據(jù)的本身是異構(gòu)異類的數(shù)據(jù)。就像裁縫把不同的材料縫成一件衣服一樣,需要很多技術(shù)把數(shù)據(jù)連接起來,使這些數(shù)據(jù)可以使用。就像不同材料縫合在一起,中間會有一些縫合處,美國任何一個做大數(shù)據(jù)的人,都會告訴你數(shù)據(jù)關(guān)聯(lián)很難。美國可以把數(shù)據(jù)關(guān)聯(lián)起來的公司有幾家。美國大數(shù)據(jù)行業(yè)在產(chǎn)業(yè)鏈上,是可以分工的。你干這個,我干那個,大家協(xié)同把東西做出來。這個和中國的情況是有區(qū)別的。
要把大數(shù)據(jù)整合起來,數(shù)據(jù)源是否好,這個非常重要,另外就是測試。有沒有一個環(huán)境,可以讓我進(jìn)行數(shù)據(jù)測試,把這個數(shù)據(jù)試著用在不同的環(huán)境會怎么樣。數(shù)據(jù)是迭代的,算法是迭代的,產(chǎn)品服務(wù)也是迭代的。數(shù)據(jù)有不同的版本、算法有不同的版本,我們要找到最優(yōu)、同一個語境下最好的算法,達(dá)到最好的服務(wù)。
企業(yè)在大數(shù)據(jù)時代要變經(jīng)驗驅(qū)動為數(shù)據(jù)驅(qū)動
大數(shù)據(jù)對于企業(yè)來說,需要將大數(shù)據(jù)變成企業(yè)的洞察力、行動力。10年前商業(yè)決策的人都是靠經(jīng)驗驅(qū)動,用數(shù)據(jù)證明自己的判斷是對的。而數(shù)據(jù)驅(qū)動,是要擁有足夠的數(shù)據(jù),從而通過數(shù)據(jù)本身發(fā)現(xiàn)一些以前沒有看到的東西。比如,我們曾經(jīng)發(fā)現(xiàn)購物網(wǎng)站的搜索,有一些人搜索過的關(guān)鍵詞,兩個月之后會成為比較流行的關(guān)鍵詞。當(dāng)我們深入進(jìn)去分析數(shù)據(jù)時,數(shù)據(jù)告訴我們,在購物里面也有達(dá)人。購物達(dá)人看的東西和普通人不一樣,他們有自己的方法尋找自己想要的商品。如果能跟蹤這些達(dá)人,可以找到用一般推薦引擎無法找到的東西。
一個學(xué)習(xí)的完整體系,簡單來講,首先有目標(biāo)定義,之后進(jìn)行決策、行動、拿到行動結(jié)果之后學(xué)習(xí)。人類學(xué)習(xí)的一般方法,都是根據(jù)這個鏈路進(jìn)行,這叫“自學(xué)習(xí)”。用自己的經(jīng)驗慢慢積累,進(jìn)行一個自我循環(huán)。
當(dāng)我們開始做大數(shù)據(jù)的時候,你會發(fā)現(xiàn),別人的數(shù)據(jù)會成為你的經(jīng)驗。你也可以把別人的數(shù)據(jù)代入自己的決策,學(xué)習(xí)到別人的經(jīng)驗,這叫“集體智慧”。大數(shù)據(jù)當(dāng)中找到別人的集體智慧。大數(shù)據(jù)里的創(chuàng)新可以有三個層面:數(shù)據(jù)的創(chuàng)新、算法的創(chuàng)新和服務(wù)的創(chuàng)新。
下面這張幻燈片中有四個坐標(biāo):數(shù)據(jù)集中、數(shù)據(jù)分散、問題清楚、問題不清楚。過去我們可以解決的是數(shù)據(jù)集中、問題很清楚的部分。后來開始出現(xiàn)很多碎片化、分散的數(shù)據(jù),我們發(fā)現(xiàn)可以用零散的、沒有集合、沒有結(jié)構(gòu)化的數(shù)據(jù),更好地解決原來的問題。舉一個例子,有一個網(wǎng)站雖然有幾億用戶群,但只有幾百萬人在這個網(wǎng)站里買彩票。這個網(wǎng)站如何可以找到更多用戶來自己的網(wǎng)站上買彩票呢?按以往方法,先描述買彩票的人是什么樣的。經(jīng)驗認(rèn)為男的比較喜歡買彩票,年紀(jì)應(yīng)該是25到35歲。而用大數(shù)據(jù)的方法是想猜用戶下一步想做什么??梢钥?周之內(nèi)用戶有沒有看過彩票的內(nèi)容,如果有,那他就是一個希望要買彩票的人,只是沒有在網(wǎng)站里買。用這個思路,我們發(fā)現(xiàn),買彩票的女性比男性多,而且往往是在辦公室里買的多。這樣數(shù)據(jù)就指明了哪些人在哪些地點(diǎn)是最好去做營銷的。
對于數(shù)據(jù)零散且問題不是很清楚,大數(shù)據(jù)同樣可以解決。比如在面對不知道客戶是什么樣的人,只知道這些人是重復(fù)購買的人,而想要用大眾標(biāo)簽去描述這些人時,可以先猜1000個人,對他們進(jìn)行營銷,發(fā)現(xiàn)有些人被猜對,有些人被猜錯。對猜對的那部分人要繼續(xù)深入,慢慢就會越做越準(zhǔn)確。這就是我通常講的用數(shù)據(jù)、養(yǎng)數(shù)據(jù)。
一個公司有沒有大數(shù)據(jù)能力,一般看他有沒有預(yù)測能力和行動能力。但是布點(diǎn)/收集、存儲/刷新、識辨/關(guān)聯(lián),也很重要。前者是如何讓數(shù)據(jù)更容易使用,后者是如何讓數(shù)據(jù)更有效關(guān)聯(lián)在一起。這個閉環(huán)如果可以做好,就可以做一個非常好的數(shù)據(jù)產(chǎn)品。
衡量數(shù)據(jù)是否好的6大標(biāo)準(zhǔn)
衡量數(shù)據(jù)是否好的6大標(biāo)準(zhǔn):有沒有、準(zhǔn)不準(zhǔn)、細(xì)不細(xì)、全不全、穩(wěn)不穩(wěn)、快不快
好的數(shù)據(jù)的衡量標(biāo)準(zhǔn)是缺一不可。缺少一個數(shù)據(jù)質(zhì)量就會下降。有的數(shù)據(jù)很稀缺,很獨(dú)家,那是數(shù)據(jù)價值。數(shù)據(jù)質(zhì)量,主要要看準(zhǔn)不準(zhǔn)。但還要看全不全,如果你只拿到安卓的數(shù)據(jù),沒有拿到蘋果的數(shù)據(jù),那也不全。一段段很零散的數(shù)據(jù)買過來,沒有連續(xù)性的數(shù)據(jù)也是不行的。需要找很可靠的伙伴來提供算法、數(shù)據(jù)、服務(wù)。
一家公司是否能用好自己的數(shù)據(jù),首先要看一個公司高管、員工有沒有意愿,接著看工具。有意愿、有能力、有工具的前提下才談到整個公司一定要對數(shù)據(jù)有自己的方向,有組織保障,以及執(zhí)行到位。
信息數(shù)據(jù)化的情況還沒有結(jié)束,包括應(yīng)用無線化。對話性的產(chǎn)品,將是顛覆世界的產(chǎn)品。互動的產(chǎn)品,將來或許會越來越多,這也是我們在創(chuàng)新產(chǎn)品時候非常大的機(jī)會點(diǎn)。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07