
大數(shù)據(jù)要經(jīng)得起三問:從哪來怎么用誰買單
當(dāng)我們面對一項大數(shù)據(jù)應(yīng)用時,只要簡單問一問3個問題——數(shù)據(jù)哪里來、數(shù)據(jù)怎么用、成果誰買單——就能揭開許多“偽裝”。日前由中國管理科學(xué)學(xué)會大數(shù)據(jù)管理專委會、國務(wù)院發(fā)展研究中心產(chǎn)業(yè)互聯(lián)網(wǎng)課題組發(fā)布的《大數(shù)據(jù)應(yīng)用藍皮書:中國大數(shù)據(jù)應(yīng)用發(fā)展報告No.1(2017)》指出,如許多應(yīng)用并沒有可靠的數(shù)據(jù)來源,或者數(shù)據(jù)來源不具備可持續(xù)性;還有些應(yīng)用并沒有技術(shù)或市場支撐,只是借助大數(shù)據(jù)風(fēng)口套取政府部門或一些投資者的“傻錢”罷了。當(dāng)然,如果經(jīng)得起上述“大數(shù)據(jù)三問”,也并不一定算得上優(yōu)秀,但也離優(yōu)秀的大數(shù)據(jù)應(yīng)用不遠了。
數(shù)據(jù)從哪里來?
關(guān)于數(shù)據(jù)來源,普遍認為互聯(lián)網(wǎng)及物聯(lián)網(wǎng)是產(chǎn)生并承載大數(shù)據(jù)的基地?;ヂ?lián)網(wǎng)公司是天生的大數(shù)據(jù)公司,在搜索、社交、媒體、交易等各自核心業(yè)務(wù)領(lǐng)域,積累并持續(xù)產(chǎn)生海量數(shù)據(jù)。物聯(lián)網(wǎng)設(shè)備每時每刻都在采集數(shù)據(jù),設(shè)備數(shù)量和數(shù)據(jù)量都與日俱增。這兩類數(shù)據(jù)資源作為大數(shù)據(jù)金礦,正在不斷產(chǎn)生各類應(yīng)用。國外關(guān)于大數(shù)據(jù)的成功經(jīng)驗介紹,大多是這類數(shù)據(jù)。
資源應(yīng)用的經(jīng)典案例。還有一些企業(yè),在業(yè)務(wù)中也積累了許多數(shù)據(jù),如房地產(chǎn)交易、大宗商品價格、特定群體消費信息,等等。從嚴格意義上說,這些數(shù)據(jù)資源還算不上大數(shù)據(jù),但對商業(yè)應(yīng)用而言,卻是最易獲得和比較容易加工處理的數(shù)據(jù)資源,也是當(dāng)前在國內(nèi)比較常見的應(yīng)用資源。
在國內(nèi)還有一類是政府部門掌握的數(shù)據(jù)資源,普遍認為質(zhì)量好、價值高,但開放程度差。許多官方統(tǒng)計數(shù)據(jù)通過灰色渠道流通出來,經(jīng)過加工成為各種數(shù)據(jù)產(chǎn)品。2015年,國務(wù)院印發(fā)的《促進大數(shù)據(jù)行動綱要》把公共數(shù)據(jù)互聯(lián)開放共享作為努力方向,認為大數(shù)據(jù)技術(shù)可以實現(xiàn)這個目標(biāo)。實際上,長期以來政府部門間信息數(shù)據(jù)相互封閉割裂是治理問題而不是技術(shù)問題。面向社會的公共數(shù)據(jù)開放愿望雖十分美好,但恐怕一段時間內(nèi)可望而不可即。在數(shù)據(jù)資源方面,國內(nèi)“小數(shù)據(jù)”、“中數(shù)據(jù)”應(yīng)用并不充分,試圖一步跨入大數(shù)據(jù)時代,借機一并解決前期信息化過程中沒能解決的問題,前景并不樂觀。另外,由于中國互聯(lián)網(wǎng)公司業(yè)務(wù)主要在國內(nèi),其大數(shù)據(jù)資源也不是全球性的。
藍皮書分析指出,“數(shù)據(jù)從哪里來”是我們評價大數(shù)據(jù)應(yīng)用的第一個關(guān)注點。一是要看這個應(yīng)用是否真有數(shù)據(jù)支撐,數(shù)據(jù)資源是否可持續(xù),來源渠道是否可控,數(shù)據(jù)安全和隱私保護方面是否有隱患。二是要看這個應(yīng)用的數(shù)據(jù)資源質(zhì)量如何,是“富礦”還是“貧礦”,能否保障這個應(yīng)用的實效。
數(shù)據(jù)怎么用?
“數(shù)據(jù)怎么用”是我們評價大數(shù)據(jù)應(yīng)用的第二個關(guān)注點。大數(shù)據(jù)綱要規(guī)劃了許多大數(shù)據(jù)應(yīng)用領(lǐng)域和方向,包括公共部門和產(chǎn)業(yè)領(lǐng)域,實際上是提出了許多需要大數(shù)據(jù)解決的問題或期待大數(shù)據(jù)完成的任務(wù)。如何解決這些問題,如何把數(shù)據(jù)資源轉(zhuǎn)化為解決方案,實現(xiàn)產(chǎn)品化,這是我們特別關(guān)注的問題。大數(shù)據(jù)只是一種手段,并不能無所不包、無所不用。我們關(guān)注大數(shù)據(jù)能做什么、不能做什么,現(xiàn)在看來,大數(shù)據(jù)主要有以下幾種較為常用的功能。
追蹤?;ヂ?lián)網(wǎng)和物聯(lián)網(wǎng)無時無刻不在記錄,大數(shù)據(jù)可以追蹤、追溯任何一個記錄,形成真實的歷史軌跡。追蹤是許多大數(shù)據(jù)應(yīng)用的起點,包括消費者購買行為、購買偏好、支付手段、搜索和瀏覽歷史、位置信息,等等。
識別。在對各種因素全面追蹤的基礎(chǔ)上,通過定位、比對、篩選,可以實現(xiàn)精準識別,尤其是對語音、圖像、視頻進行識別,使可分析內(nèi)容大大豐富,得到的結(jié)果更為精準。
畫像。通過對同一主體不同數(shù)據(jù)源的追蹤、識別、匹配,形成更立體的刻畫和更全面的認識。對消費者畫像,可以精準推送廣告和產(chǎn)品;對企業(yè)畫像,可以準確判斷其信用及面臨的風(fēng)險。
提示。在歷史軌跡、識別和畫像基礎(chǔ)上,對未來趨勢及重復(fù)出現(xiàn)的可能性進行預(yù)測,當(dāng)某些指標(biāo)出現(xiàn)預(yù)期變化或超預(yù)期變化時給予提示、預(yù)警。以前也有基于統(tǒng)計的預(yù)測,大數(shù)據(jù)大大豐富了預(yù)測手段,對建立風(fēng)險控制模型有深刻意義。
匹配。在海量信息中精準追蹤和識別,利用相關(guān)性、接近性等進行篩選比對,更有效率地實現(xiàn)產(chǎn)品搭售和供需匹配。大數(shù)據(jù)匹配功能是互聯(lián)網(wǎng)約車、租房、金融等共享經(jīng)濟新商業(yè)模式的基礎(chǔ)。
優(yōu)化。按距離最短、成本最低等給定的原則,通過各種算法對路徑、資源等進行優(yōu)化配置。對企業(yè)而言,提高服務(wù)水平、提升內(nèi)部效率;對公共部門而言,節(jié)約公共資源、提升公共服務(wù)能力。
上述概括并不一定完備,大數(shù)據(jù)肯定還有其他更好的功能。當(dāng)前許多貌似復(fù)雜的應(yīng)用,大都可以細分成以上幾種類型。例如,貴州推行的“大數(shù)據(jù)精準扶貧項目”,從大數(shù)據(jù)應(yīng)用角度,通過識別、畫像,可以對貧困戶實現(xiàn)精準篩選和界定,找對扶貧對象;通過追蹤、提示,可以對扶貧資金、扶貧行為和扶貧效果進行監(jiān)控和評估;通過配對、優(yōu)化,可以更好發(fā)揮扶貧資源的作用。這些功能也并不都是大數(shù)據(jù)所特有的,只是大數(shù)據(jù)遠遠超出以前的技術(shù),可以做得更精準、更快、更好。當(dāng)然,技術(shù)無法左右利益,貴州扶貧目標(biāo)的完成,并不是有了大數(shù)據(jù)就萬事大吉了。
成果誰買單?
“成果誰買單”是評價大數(shù)據(jù)應(yīng)用的第三個也是最后一個關(guān)注點。道理很簡單,不創(chuàng)造價值的應(yīng)用不是好應(yīng)用。能不能創(chuàng)造價值,關(guān)鍵看誰買單。我們不需要那些靡費公帑的“樣板”工程、“面子”工程,也不需要那些炫耀神技、制造概念的創(chuàng)富故事。我們關(guān)注大數(shù)據(jù)的應(yīng)用是否實實在在提升能力、改善績效。如果大數(shù)據(jù)用于自身的產(chǎn)品設(shè)計、營銷推廣、資源配置,那就看企業(yè)競爭力是不是提升了,看企業(yè)最終是不是比以前更賺錢了。如果大數(shù)據(jù)用于為第三方提供服務(wù),那就看是不是有人愿意付費、愿意持續(xù)付費。但如果是用于公共領(lǐng)域,還要看政府或公共部門的付費值不值,不僅僅是從出資方的視角看值不值,還要從老百姓的視角看值不值。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10