
大數(shù)據(jù)究竟是什么2_數(shù)據(jù)分析師
古語(yǔ)云:三分技術(shù),七分?jǐn)?shù)據(jù),得數(shù)據(jù)者得天下。先不論誰(shuí)說(shuō)的,但是這句話的正確性已經(jīng)不用去論證了。維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時(shí)代》一書(shū)中舉了百般例證,都是為了說(shuō)明一個(gè)道理:在大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)的時(shí)候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價(jià)值。書(shū)中,作者提及最多的是Google如何利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價(jià)值,比如預(yù)測(cè)某地流感爆發(fā)的趨勢(shì);Amazon如何利用用戶的購(gòu)買和瀏覽歷史數(shù)據(jù)進(jìn)行有針對(duì)性的書(shū)籍購(gòu)買推薦,以此有效提升銷售量;Farecast如何利用過(guò)去十年所有的航線機(jī)票價(jià)格打折數(shù)據(jù),來(lái)預(yù)測(cè)用戶購(gòu)買機(jī)票的時(shí)機(jī)是否合適。
那么,什么是大數(shù)據(jù)思維?維克托·邁爾-舍恩伯格認(rèn)為,1-需要全部數(shù)據(jù)樣本而不是抽樣;2-關(guān)注效率而不是精確度;3-關(guān)注相關(guān)性而不是因果關(guān)系。
阿里巴巴的王堅(jiān)對(duì)于大數(shù)據(jù)也有一些獨(dú)特的見(jiàn)解,比如,
“今天的數(shù)據(jù)不是大,真正有意思的是數(shù)據(jù)變得在線了,這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)?!?/span>
“非互聯(lián)網(wǎng)時(shí)期的產(chǎn)品,功能一定是它的價(jià)值,今天互聯(lián)網(wǎng)的產(chǎn)品,數(shù)據(jù)一定是它的價(jià)值。”
“你千萬(wàn)不要想著拿數(shù)據(jù)去改進(jìn)一個(gè)業(yè)務(wù),這不是大數(shù)據(jù)。你一定是去做了一件以前做不了的事情。”
特別是最后一點(diǎn),我是非常認(rèn)同的,大數(shù)據(jù)的真正價(jià)值在于創(chuàng)造,在于填補(bǔ)無(wú)數(shù)個(gè)還未實(shí)現(xiàn)過(guò)的空白。
有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數(shù)據(jù)并不在“大”,而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。
大數(shù)據(jù)是什么?投資者眼里是金光閃閃的兩個(gè)字:資產(chǎn)。比如,F(xiàn)acebook上市時(shí),評(píng)估機(jī)構(gòu)評(píng)定的有效資產(chǎn)中大部分都是其社交網(wǎng)站上的數(shù)據(jù)。
如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵,在于提高對(duì)數(shù)據(jù)的“加工能力”,通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。
Target 超市以20多種懷孕期間孕婦可能會(huì)購(gòu)買的商品為基礎(chǔ),將所有用戶的購(gòu)買記錄作為數(shù)據(jù)來(lái)源,通過(guò)構(gòu)建模型分析購(gòu)買者的行為相關(guān)性,能準(zhǔn)確的推斷出孕婦的具體臨盆時(shí)間,這樣Target的銷售部門就可以有針對(duì)的在每個(gè)懷孕顧客的不同階段寄送相應(yīng)的產(chǎn)品優(yōu)惠卷。
Target的例子是一個(gè)很典型的案例,這樣印證了維克托·邁爾-舍恩伯格提過(guò)的一個(gè)很有指導(dǎo)意義的觀點(diǎn):通過(guò)找出一個(gè)關(guān)聯(lián)物并監(jiān)控它,就可以預(yù)測(cè)未來(lái)。Target通過(guò)監(jiān)測(cè)購(gòu)買者購(gòu)買商品的時(shí)間和品種來(lái)準(zhǔn)確預(yù)測(cè)顧客的孕期,這就是對(duì)數(shù)據(jù)的二次利用的典型案例。如果,我們通過(guò)采集駕駛員手機(jī)的GPS數(shù)據(jù),就可以分析出當(dāng)前哪些道路正在堵車,并可以及時(shí)發(fā)布道路交通提醒;通過(guò)采集汽車的GPS位置數(shù)據(jù),就可以分析城市的哪些區(qū)域停車較多,這也代表該區(qū)域有著較為活躍的人群,這些分析數(shù)據(jù)適合賣給廣告投放商。
不管大數(shù)據(jù)的核心價(jià)值是不是預(yù)測(cè),但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來(lái)了盈利和聲譽(yù)。
從大數(shù)據(jù)的價(jià)值鏈條來(lái)分析,存在三種模式:
1- 手握大數(shù)據(jù),但是沒(méi)有利用好;比較典型的是金融機(jī)構(gòu),電信行業(yè),政府機(jī)構(gòu)等。
2- 沒(méi)有數(shù)據(jù),但是知道如何幫助有數(shù)據(jù)的人利用它;比較典型的是IT咨詢和服務(wù)企業(yè),比如,埃森哲,IBM,Oracle等。
3- 既有數(shù)據(jù),又有大數(shù)據(jù)思維;比較典型的是Google,Amazon,Mastercard等。
未來(lái)在大數(shù)據(jù)領(lǐng)域最具有價(jià)值的是兩種事物:1-擁有大數(shù)據(jù)思維的人,這種人可以將大數(shù)據(jù)的潛在價(jià)值轉(zhuǎn)化為實(shí)際利益;2-還未有被大數(shù)據(jù)觸及過(guò)的業(yè)務(wù)領(lǐng)域。這些是還未被挖掘的油井,金礦,是所謂的藍(lán)海。
Wal-Mart作為零售行業(yè)的巨頭,他們的分析人員會(huì)對(duì)每個(gè)階段的銷售記錄進(jìn)行了全面的分析,有一次他們無(wú)意中發(fā)現(xiàn)雖不相關(guān)但很有價(jià)值的數(shù)據(jù),在美國(guó)的颶風(fēng)來(lái)臨季節(jié),超市的蛋撻和抵御颶風(fēng)物品竟然銷量都有大幅增加,于是他們做了一個(gè)明智決策,就是將蛋撻的銷售位置移到了颶風(fēng)物品銷售區(qū)域旁邊,看起來(lái)是為了方便用戶挑選,但是沒(méi)有想到蛋撻的銷量因此又提高了很多。
還有一個(gè)有趣的例子,1948年遼沈戰(zhàn)役期間,司令員林彪要求每天要進(jìn)行例常的“每日軍情匯報(bào)”,由值班參謀讀出下屬各個(gè)縱隊(duì)、師、團(tuán)用電臺(tái)報(bào)告的當(dāng)日戰(zhàn)況和繳獲情況。那幾乎是重復(fù)著千篇一律枯燥無(wú)味的數(shù)據(jù):每支部隊(duì)殲敵多少、俘虜多少;繳獲的火炮、車輛多少,槍支、物資多少……有一天,參謀照例匯報(bào)當(dāng)日的戰(zhàn)況,林彪突然打斷他:“剛才念的在胡家窩棚那個(gè)戰(zhàn)斗的繳獲,你們聽(tīng)到了嗎?”大家都很茫然,因?yàn)槿绱藨?zhàn)斗每天都有幾十起,不都是差不多一模一樣的枯燥數(shù)字嗎?林彪掃視一周,見(jiàn)無(wú)人回答,便接連問(wèn)了三句:“為什么那里繳獲的短槍與長(zhǎng)槍的比例比其它戰(zhàn)斗略高?”“為什么那里繳獲和擊毀的小車與大車的比例比其它戰(zhàn)斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿軍用地圖的墻壁,指著地圖上的那個(gè)點(diǎn)說(shuō):“我猜想,不,我斷定!敵人的指揮所就在這里!”果然,部隊(duì)很快就抓住了敵方的指揮官廖耀湘,并取得這場(chǎng)重要戰(zhàn)役的勝利。
這些例子真實(shí)的反映在各行各業(yè),探求數(shù)據(jù)價(jià)值取決于把握數(shù)據(jù)的人,關(guān)鍵是人的數(shù)據(jù)思維;與其說(shuō)是大數(shù)據(jù)創(chuàng)造了價(jià)值,不如說(shuō)是大數(shù)據(jù)思維觸發(fā)了新的價(jià)值增長(zhǎng)。
我們先看看大數(shù)據(jù)在當(dāng)下有怎樣的杰出表現(xiàn):
其實(shí),這些還遠(yuǎn)遠(yuǎn)不夠,未來(lái)大數(shù)據(jù)的身影應(yīng)該無(wú)處不在,就算無(wú)法準(zhǔn)確預(yù)測(cè)大數(shù)據(jù)終會(huì)將人類社會(huì)帶往到哪種最終形態(tài),但我相信只要發(fā)展腳步在繼續(xù),因大數(shù)據(jù)而產(chǎn)生的變革浪潮將很快淹沒(méi)地球的每一個(gè)角落。
比如,Amazon的最終期望是:“最成功的書(shū)籍推薦應(yīng)該只有一本書(shū),就是用戶要買的下一本書(shū)?!?/span>
Google也希望當(dāng)用戶在搜索時(shí),最好的體驗(yàn)是搜索結(jié)果只包含用戶所需要的內(nèi)容,而這并不需要用戶給予Google太多的提示。
而當(dāng)物聯(lián)網(wǎng)發(fā)展到達(dá)一定規(guī)模時(shí),借助條形碼、二維碼、RFID等能夠唯一標(biāo)識(shí)產(chǎn)品,傳感器、可穿戴設(shè)備、智能感知、視頻采集、增強(qiáng)現(xiàn)實(shí)等技術(shù)可實(shí)現(xiàn)實(shí)時(shí)的信息采集和分析,這些數(shù)據(jù)能夠支撐智慧城市,智慧交通,智慧能源,智慧醫(yī)療,智慧環(huán)保的理念需要,這些都所謂的智慧將是大數(shù)據(jù)的采集數(shù)據(jù)來(lái)源和服務(wù)范圍。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11