
大數(shù)據(jù)的核心價值到底是什么
無論是大數(shù)據(jù)在農(nóng)業(yè)的應用也好,工業(yè)的應用也好,抑或是在金融行業(yè)的應用也好,最終都是通過大數(shù)據(jù)技術來獲知事情發(fā)展的真相,最終利用這個“真相”來更加合理的配置資源。
具體來說,要實現(xiàn)大數(shù)據(jù)的核心價值,還需要前兩個重要的步驟,第一步是通過“眾包”的形式收集海量數(shù)據(jù),第二步是通過大數(shù)據(jù)的技術途徑進行“全量數(shù)據(jù)挖掘”,最后利用分析結果進行“資源優(yōu)化配置”。
只說概念大家肯定沒法直觀的理解上面的觀點,那就將幾個咱們都接觸過的例子講一講大數(shù)據(jù)是怎么通過這三步發(fā)揮核心價值的?
第一步、通過“眾包”產(chǎn)生和收集數(shù)據(jù)
高德地圖、百度地圖都有實時路況的功能,但大家有沒有想過實時路況的數(shù)據(jù)是怎么收集的?實際上經(jīng)過了三個階段,開始是跟交通口的一些公司合作,獲取交通流量監(jiān)測設備的數(shù)據(jù),這個方法缺陷很明顯,一個是受制于人,一個是想擴大監(jiān)測范圍就要部署大量設備,費時費力,而且還受法律制約。于是一些專門做路況的公司開始用出租車當浮動車收集數(shù)據(jù)。但這種辦法還是無法覆蓋大量的大小路段,隨著移動互聯(lián)網(wǎng)的普及,高德地圖的APP能夠實時上傳大量機動車的速度和位置信息,經(jīng)過去噪和綜合分析,就形成了覆蓋率極高的實時路況信息。這就是一個典型的“眾包”過程。
嚴謹一點來說,眾包指的是一個公司或機構把過去由員工執(zhí)行的工作任務,以自由自愿的形式外包給非特定的(而且通常是大型的)大眾網(wǎng)絡的做法。
大數(shù)據(jù)的“海量數(shù)據(jù)”就是由“眾包”產(chǎn)生的。廣義上,用戶的行為數(shù)據(jù),各種傳感器的數(shù)據(jù),也都是“眾包”的形式,只要是由過去集中式的產(chǎn)生模式擴散到分布式的模式,都是眾包的形式。
第二步、通過“全量數(shù)據(jù)挖掘”獲知“真相”
曾經(jīng)看過一個視頻,通過分析阿里巴巴全年的數(shù)據(jù)得到的阿里巴巴的世界貿(mào)易與全國貿(mào)易的趨勢。視頻中體現(xiàn)的不僅是阿里巴巴集團的運營情況,其實也部分反映了整個中國的經(jīng)濟運行情況。而且這些數(shù)據(jù)不是通過采樣得來的,就是真真切切的“全量數(shù)據(jù)”。我們再也不用通過“管中窺豹”的形式來推測全局,而是直接通過“上帝視角”來窺視真相。這就是大數(shù)據(jù)的魅力,我們獲得了前所未有的獲取真相的能力,而且對于大型互聯(lián)網(wǎng)公司來說,即使是PB級別的數(shù)據(jù)分析也是準實時的,我們下一個小時就能夠得知上一個小時的全量數(shù)據(jù)分析結果,這樣的能力是前所未有的。
第三步 大數(shù)據(jù)的核心價值——“資源優(yōu)化配置”
前段時間,滴滴打車曾通過投票和訂單分析的方式得出了北上廣深四地的加班大樓排行榜,敝司不幸排名第三,但事實真的是即使加班很晚也很難打到車啊啊!所以滴滴打車更名為“滴滴出行”之后,也拋出了他們偉大的愿景,那就是利用大數(shù)據(jù)分析實時綜合調度“快車”、“專車”、“出租車”、“順風車”甚至是滴滴巴士的資源,實現(xiàn)全局的交通資源優(yōu)化。事實也是如此,滴滴的司機們越來越多的需要完成“指派任務”,而不是集中去搶高凈值客戶。也許對于個別單體來說他們的利益降低了,但全局的資源配置卻避免了全局的資源浪費和過度競爭,無疑大大提高了交通資源的使用效率。
所以我們說,基于大數(shù)據(jù)分析的結果,進行資源優(yōu)化配置,才是大數(shù)據(jù)應用的落地點和真正價值。
而“資源優(yōu)化配置”的價值,又遠遠超出我們能夠想象的層面,在資本寒冬即將來臨的大背景下,利用大數(shù)據(jù)實現(xiàn)資源的高效利用,顯得更加重要。廣告行業(yè)利用DMP、DSP進行廣告的精準投放,房地產(chǎn)行業(yè)利用大數(shù)據(jù)分析價值洼地,宜信利用大數(shù)據(jù)建設征信系統(tǒng)降低壞賬率,券商陸續(xù)推出大數(shù)據(jù)基金,全部都是廣義的“資源優(yōu)化配置”的體現(xiàn)。大數(shù)據(jù)也遠遠不再停留在學術和“分析現(xiàn)象”的階段,而是在各行各業(yè)實現(xiàn)了落地并發(fā)揮著非常非常重要的價值。
我是在互聯(lián)網(wǎng)廣告行業(yè)從事程序化購買系統(tǒng)建設的,而這個行業(yè)也是大數(shù)據(jù)最先發(fā)揮價值的地方。舉個最簡單的例子來說明大數(shù)據(jù)在廣告資源優(yōu)化配置上的作用。
寶潔集團是我們的客戶,而寶潔的產(chǎn)品有非常強的用戶性別傾向性,護舒寶的廣告就應該投給女性,投給男性就是赤裸裸的浪費。而吉列的目標用戶就只是男性。之前保潔集團是怎么做廣告的?就是海投品牌廣告,不分性別的海投,那這個做法在投放之前就已經(jīng)確切無疑的知道有一半廣告費用時浪費的。但沒有辦法,因為我們沒有大數(shù)據(jù)技術來發(fā)掘用戶的性別。
而隨著DMP(Data Management Platform)技術的不斷成熟,越來越多的廣告主建立起自己的用戶數(shù)據(jù)中心,可以不斷積累客戶的各種用戶行為,進而判斷出用戶的性別,再通過DSP(Demand Side Platform)系統(tǒng)定向投放,最終可以為寶潔節(jié)省一半的廣告預算。
上面的例子正是廣告資源的優(yōu)化配置,事實上DMP系統(tǒng)對用戶畫像的構建精確程度遠超人們的想象,精準投放的各類篩選條件也越來越精細。現(xiàn)在微信支持精確到設備的精準投放,也就是未來完全可能實現(xiàn)精確到每個人終端的精準投放,這都依賴于大數(shù)據(jù)對于用戶行為的挖掘,最終實現(xiàn)整個廣告行業(yè)的效果提升。
很多同學可能會說大數(shù)據(jù)的核心是數(shù)據(jù)挖掘,是分布式存儲,是NLP,是深度學習,但這一切其實只是大數(shù)據(jù)的技術途徑,大數(shù)據(jù)的終極核心價值就在于“資源優(yōu)化配置”。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結構數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結構數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結構數(shù)據(jù)特征價值的專業(yè)核心 表結構數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結構化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結構數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結構數(shù)據(jù)(以 “行 - 列” 存儲的結構化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結構數(shù)據(jù)價值的核心操盤手 表格結構數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10