
大數(shù)據(jù),不是說(shuō)有就能有
2016年可謂是中國(guó)的“大數(shù)據(jù)之年”,不僅國(guó)家推行“大數(shù)據(jù)戰(zhàn)略”,倡導(dǎo)發(fā)展互聯(lián)網(wǎng)新經(jīng)濟(jì),各行各業(yè)也都在談?wù)摯髷?shù)據(jù)的前景。國(guó)務(wù)院總理李克強(qiáng)5月出席大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)并提出大數(shù)據(jù)驅(qū)動(dòng)信息產(chǎn)業(yè)升級(jí)的戰(zhàn)略導(dǎo)向。大數(shù)據(jù)一時(shí)成為了各大企業(yè)都爭(zhēng)相推擁的熱詞。
單純從字面理解,大數(shù)據(jù)描述的是一個(gè)巨量數(shù)據(jù)的概念。而在實(shí)際的應(yīng)用上,“大數(shù)據(jù)”更類似“光年”一樣,當(dāng)光指引到時(shí)間中,就成為了描述距離的單位,而把海量的有效數(shù)據(jù)進(jìn)行有針對(duì)性的整合分析時(shí),他就可以對(duì)用戶行為進(jìn)行描述,為我們的生活提供各種各樣的決策和指引。
隨著國(guó)家大數(shù)據(jù)戰(zhàn)略的推行,“數(shù)聚”、“精準(zhǔn)”等概念紛紛涌現(xiàn)。然而,在各大品牌層出不窮的新玩法下,“大數(shù)據(jù)”概念被濫用的情況越來(lái)越嚴(yán)重。筆者之見,“大數(shù)據(jù)”能力需要有漫長(zhǎng)積蓄過(guò)程,絕非“想用就能用”。
在品牌宣傳上,大數(shù)據(jù)的概念常常被有意無(wú)意地偷換,主要表現(xiàn)在,“有數(shù)據(jù)”并不等于大數(shù)據(jù)。大數(shù)據(jù)存在5V的特征,即Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)、Veracity(真實(shí)性)。除了存有數(shù)據(jù)的基本條件外,還需滿足以上五個(gè)維度。因此,大數(shù)據(jù)是一個(gè)非常嚴(yán)格的概念。
一個(gè)企業(yè)的大數(shù)據(jù)實(shí)力如何,主要基于其擁有的數(shù)據(jù)資產(chǎn)的數(shù)量和質(zhì)量,同時(shí)也取決于數(shù)據(jù)的維度,及對(duì)海量數(shù)據(jù)的開發(fā)運(yùn)用能力(內(nèi)部算法)。因此不少巨頭在不斷擴(kuò)張自己數(shù)據(jù)庫(kù)容量的同時(shí),也在通過(guò)并購(gòu)整合,拓寬其自身數(shù)據(jù)資產(chǎn)的覆蓋度和完整度,同時(shí)提升自己對(duì)數(shù)據(jù)的運(yùn)算能力。
以阿里巴巴為例,阿里擁有龐大的用戶群體以及十多年的用戶數(shù)據(jù)積累。其大數(shù)據(jù)資產(chǎn),無(wú)論從數(shù)量還是質(zhì)量上,在中國(guó)處于絕對(duì)領(lǐng)先地位。但究其根本,其主要數(shù)據(jù)維度主要集中在電商領(lǐng)域。隨著阿里巴巴不斷的跨領(lǐng)域擴(kuò)張,其大數(shù)據(jù)維度也隨之豐富起來(lái)。UC瀏覽器、高德地圖、優(yōu)酷土豆、新浪微博等多個(gè)領(lǐng)域產(chǎn)品的加入,阿里大數(shù)據(jù)基于移動(dòng)信息領(lǐng)域的矩陣逐漸擴(kuò)展。截至目前,據(jù)不完全統(tǒng)計(jì),阿里大數(shù)據(jù)矩陣至少包含了電商、閱讀、社交、搜索、地圖、視頻、應(yīng)用、游戲等維度的用戶行為數(shù)據(jù),從覆蓋率和完整度上,應(yīng)該是目前BAT三大巨頭中最具優(yōu)勢(shì)的。
然而,企業(yè)收集到“多維度”的數(shù)據(jù)只是第一步,如何運(yùn)用、創(chuàng)造價(jià)值是接下來(lái)面臨的考驗(yàn)。在數(shù)據(jù)價(jià)值的“落地”上,各個(gè)企業(yè)也正在積極探索。
移動(dòng)互聯(lián)時(shí)代深受“信息過(guò)載”的詬病,“如何實(shí)現(xiàn)信息與人更為精準(zhǔn)的連接”是整個(gè)行業(yè)未來(lái)探索的方向。為了能夠給用戶提供最佳的內(nèi)容獲取決策,除了需要對(duì)數(shù)據(jù)寬度與厚度進(jìn)行累積,還需要讓數(shù)據(jù)變得更加“聰明”。通俗來(lái)講,企業(yè)需要能夠?qū)τ脩舢a(chǎn)生的每個(gè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析與開發(fā),并以此幫助用戶做出決策。
以UC為例,從阿里大數(shù)據(jù)中的高德地圖POI數(shù)據(jù)可以知道用戶當(dāng)下處于的特定場(chǎng)景,根據(jù)對(duì)“時(shí)間+地點(diǎn)”的描述分發(fā)用戶當(dāng)下最需要的資訊;此外,在淘寶、神馬搜索、優(yōu)酷等多維數(shù)據(jù)的互通下,可以知道用戶對(duì)不同類型資訊的需求。此外,UC的算法還能實(shí)現(xiàn)根據(jù)不同領(lǐng)域按權(quán)重繪畫屬于該用戶的用戶畫像,在基本的人群聚類下再繼續(xù)進(jìn)行需求分層。
以上用戶數(shù)據(jù)的分析及處理,將形成個(gè)人定制化數(shù)據(jù)庫(kù),之后,再根據(jù)算法進(jìn)行精準(zhǔn)推送,目前常用的推薦算法有三種:
第一代基于“協(xié)同過(guò)濾”,即收集大量的用戶瀏覽記錄,通過(guò)相似行為進(jìn)行關(guān)聯(lián)推薦。由于算法簡(jiǎn)介,邏輯清晰,可行性強(qiáng),這種算法被大多數(shù)企業(yè)采用,例如今日頭條、天天快報(bào)等都是采用的這種算法,但其也存在缺陷。由于獲取數(shù)據(jù)的手段有限,數(shù)據(jù)不能夠真實(shí)的反應(yīng)出用戶對(duì)信息的需求,很容易讓用戶深陷在自己的“興趣愛好”當(dāng)中;
第二代基于“搜索”,在分析了用戶的核心興趣點(diǎn)之后,通過(guò)隱式搜索的方式,給用戶結(jié)果,這是在搜索引擎全面普及后出現(xiàn)的數(shù)據(jù)算法。但是與第一代算法類似的是,不同的人搜索相同的信息有不同的目的,而不同的時(shí)間地點(diǎn)搜同樣的信息也有不同的目的,用同樣的標(biāo)準(zhǔn)衡量用戶行為,容易產(chǎn)生誤判;好處是,對(duì)第一代算法所產(chǎn)生的“信息孤島”效應(yīng)有了較大的減弱,較容易形成興趣圈群。在這方面做得比較好的是一點(diǎn)資訊。
第三代基于“社群+場(chǎng)景”,從“人”的角度,切入到具體的社群,實(shí)現(xiàn)“人以群分”;從內(nèi)容的角度,切入到具體場(chǎng)景,這也是目前算法的發(fā)展趨勢(shì),比較典型的是以阿里大數(shù)據(jù)矩陣為依托的UC頭條。
不過(guò),就目前而言,實(shí)現(xiàn)“社群+場(chǎng)景”精準(zhǔn)分發(fā)還處于一個(gè)比較理想的階段,體現(xiàn)在“社群+場(chǎng)景”有一系列苛刻的要求,基礎(chǔ)要滿足的就是精準(zhǔn)的用戶畫像繪制。眼下有此能力的恐怕也只有BAT三家。
當(dāng)然,一個(gè)行業(yè)的成功除了能夠給用戶帶來(lái)改變,自身還應(yīng)具備優(yōu)秀的商業(yè)化能力,以實(shí)現(xiàn)行業(yè)的可持續(xù)發(fā)展。Facebook、Twitter等企業(yè)對(duì)大數(shù)據(jù)在信息流里的商業(yè)模式早有示范。其中,F(xiàn)acebook移動(dòng)廣告營(yíng)收公司總營(yíng)收的82%(2016年Q1財(cái)報(bào)),是基于大數(shù)據(jù)的精準(zhǔn)定向廣告流為收入帶來(lái)快速增長(zhǎng)。而這種模式能夠適用并持續(xù)增長(zhǎng),其主要原因是B端與C端的互利,B端的廣告在更為精準(zhǔn)、高效推送到用戶外,C端獲取了精準(zhǔn)的信息,不會(huì)影響用戶體驗(yàn)。
如以上所列舉的“在高德地圖里形成固定的商圈,在UC頭條相應(yīng)商圈的資訊就會(huì)推送給你”,這樣一次信息與人的精準(zhǔn)連接,對(duì)用戶來(lái)說(shuō),帶來(lái)是獲取價(jià)值信息時(shí)間成本的縮小;對(duì)內(nèi)容提供者來(lái)說(shuō),是潛在受眾價(jià)值的挖掘;而對(duì)廣告主而言,是高效、精準(zhǔn)傳遞受眾的價(jià)值實(shí)現(xiàn)。在這里面,滿足的是消費(fèi)測(cè)、供給側(cè)、商業(yè)測(cè)三方需求。
大數(shù)據(jù)時(shí)代不止于“大”,企業(yè)對(duì)數(shù)據(jù)資產(chǎn)的厚度與深度的積累成為了決定大數(shù)據(jù)成敗的關(guān)鍵,在大數(shù)據(jù)被日益濫用的今天,筆者更希望在時(shí)代大趨勢(shì)下,大數(shù)據(jù)能真正落地,至少不止一個(gè)阿里巴巴。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11