
大數(shù)據(jù)與實(shí)體經(jīng)濟(jì)融合的路徑
大數(shù)據(jù)理念已經(jīng)深入人心,“用數(shù)據(jù)說話”的已經(jīng)成為所有人的共識,數(shù)據(jù)成了堪比石油、黃金、鉆石的戰(zhàn)略資源。人們對大數(shù)據(jù)的認(rèn)識也更加具體化,數(shù)據(jù)無所謂大不大,有用最重要;數(shù)據(jù)是基礎(chǔ),但分析挖掘和應(yīng)用才是根本。
不僅對大數(shù)據(jù)的認(rèn)識經(jīng)歷了螺旋上升,而且實(shí)踐逐漸落地,國內(nèi)的大數(shù)據(jù)產(chǎn)業(yè)政策日漸完善,技術(shù)、應(yīng)用和產(chǎn)業(yè)都取得了非常明顯的進(jìn)展。
1.政策持續(xù)完善。在頂層設(shè)計(jì)上,國務(wù)院《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》對政務(wù)數(shù)據(jù)共享開放、產(chǎn)業(yè)發(fā)展和安全三方面做了總體部署。數(shù)據(jù)開放共享方面的《政務(wù)信息資源共享管理暫行辦法》、產(chǎn)業(yè)方面的工信部《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020)》、數(shù)據(jù)安全方面的《中華人民共和國網(wǎng)絡(luò)安全法》等也都已出臺。衛(wèi)計(jì)、農(nóng)業(yè)、檢察、稅務(wù)等部門還出臺了領(lǐng)域大數(shù)據(jù)發(fā)展的具體政策。此外,17個(gè)省市發(fā)布大數(shù)據(jù)發(fā)展規(guī)劃,十幾個(gè)省市設(shè)立了大數(shù)據(jù)管理局,8個(gè)國家大數(shù)據(jù)綜合試驗(yàn)區(qū)、11個(gè)國家工程實(shí)驗(yàn)室啟動(dòng)建設(shè)??梢哉f,適應(yīng)大數(shù)據(jù)發(fā)展的政策環(huán)境已經(jīng)初步形成。
2.技術(shù)穩(wěn)步提升。開源給國內(nèi)產(chǎn)業(yè)界提供了一個(gè)跳板,讓我們與國際上大數(shù)據(jù)技術(shù)先進(jìn)水平的差距在不斷縮小。2014-2016年,百度、阿里和騰訊先后拿下國際上知名的Sort
Benchmark大賽冠軍。這個(gè)競賽全面比拼分布式系統(tǒng)軟件架構(gòu)能力,包括如海量數(shù)據(jù)分布式存儲、計(jì)算任務(wù)切片調(diào)度、節(jié)點(diǎn)通信協(xié)調(diào)同步、數(shù)據(jù)計(jì)算監(jiān)控、硬件架構(gòu)等方面的能力。而這一賽事2014年之前的冠軍均被微軟、Yahoo、亞馬遜等包攬。這從一個(gè)側(cè)面反映了我國產(chǎn)業(yè)界在大大數(shù)據(jù)處理技術(shù)水平的快速提升。與此同時(shí),還有像一批國產(chǎn)化的商用大數(shù)據(jù)平臺產(chǎn)品崛起,底層技術(shù)越來越扎實(shí)。
3.應(yīng)用逐漸落地。比如,在金融領(lǐng)域,2016年商業(yè)銀行全面部署大數(shù)據(jù)基礎(chǔ)設(shè)施,五大國有銀行、股份制、城商行和農(nóng)商行已經(jīng)逐步開始了從傳統(tǒng)數(shù)據(jù)倉庫架構(gòu)向大數(shù)據(jù)平臺架構(gòu)的轉(zhuǎn)型改造過程,基于大數(shù)據(jù)風(fēng)控的“秒貸”業(yè)務(wù)越來越普及,不僅提升了貸款效率,還擴(kuò)大的普惠金融的覆蓋面。在電信領(lǐng)域,中國電信的大數(shù)據(jù)平臺已經(jīng)擴(kuò)展到31個(gè)省,匯聚了全國的基礎(chǔ)數(shù)據(jù)形成了“天翼大數(shù)據(jù)”服務(wù)能力;中國聯(lián)通也實(shí)現(xiàn)了數(shù)據(jù)整合,大數(shù)據(jù)產(chǎn)品體系已經(jīng)推出征信、指數(shù)、營銷等六大產(chǎn)品種類。
4.產(chǎn)業(yè)快速崛起。圍繞數(shù)據(jù)的產(chǎn)生、匯聚、處理、應(yīng)用等環(huán)節(jié)的產(chǎn)業(yè)生態(tài)從無到有,不斷壯大。中國信息通信研究院發(fā)布的《中國大數(shù)據(jù)產(chǎn)業(yè)調(diào)查報(bào)告(2017年)》顯示,2016年中國大數(shù)據(jù)核心產(chǎn)業(yè)(軟件、硬件及服務(wù))的市場規(guī)模為168億元,較2015年增速達(dá)45%,預(yù)計(jì)到2020年將達(dá)到578億元。2016年獲得融資的企業(yè)數(shù)量達(dá)到400多家,2017年前三個(gè)月就有150多家企業(yè)獲得融資,其中半數(shù)為中國公司,資本源源不斷的投向大數(shù)據(jù)領(lǐng)域。
大數(shù)據(jù),代表了一種現(xiàn)象,即:數(shù)據(jù)的指數(shù)增長超過了人們管理、處理和應(yīng)用數(shù)據(jù)的能力的增長,產(chǎn)生了一個(gè)“剪刀差”,而且這個(gè)“剪刀差”無疑將長期存在。無論是對一個(gè)國家還是一個(gè)企業(yè),誰能在縮小大數(shù)據(jù)剪刀差上拔得頭籌,把數(shù)據(jù)用好,就能占有競爭優(yōu)勢。
發(fā)展大數(shù)據(jù)前景還很廣闊,還有很多問題(機(jī)遇)等著解決(捕獲),比如:
1.打破數(shù)據(jù)孤島。人人都想要?jiǎng)e人的數(shù)據(jù),但都不愿意把自己的數(shù)據(jù)給別人,這是人的天性。以前信息系統(tǒng)建設(shè)都從一個(gè)個(gè)“煙囪”開始,數(shù)據(jù)缺乏互通的技術(shù)基礎(chǔ),這卻是“人禍”。從國家層面到企業(yè)內(nèi)部,情況大同小異。麥肯錫2016年底的一份報(bào)告顯示,大數(shù)據(jù)在很多領(lǐng)域沒有達(dá)到預(yù)期效果,很重要的原因就是數(shù)據(jù)割裂。這些年,推動(dòng)數(shù)據(jù)開放共享的政策舉措在一直在加強(qiáng),政策已經(jīng)很給力了,但效果與預(yù)期相差甚遠(yuǎn),碰到了瓶頸。開放共享政策再往前“推”,仿佛遇到一堵高高的墻,這時(shí)就需要技術(shù)“拉”一把。的確,這些年數(shù)據(jù)共享技術(shù)供應(yīng)有些滯后了。
未來,如果同態(tài)加密(homomorphic encryption)、差分隱私(differential
privacy)、多方安全計(jì)算(secure multi-party computation)、零知識證明(zero-knowledge
proof)等技術(shù)能取得突破,數(shù)據(jù)共享就能再前進(jìn)一大步。區(qū)塊鏈的共享賬本、集體維護(hù)、難以篡改特性,也有望能助推數(shù)據(jù)共享。
2.數(shù)據(jù)資產(chǎn)管理。數(shù)據(jù)分析工作,往往有80%的時(shí)間和精力都耗費(fèi)在搜集、清洗和加工數(shù)據(jù)上。數(shù)據(jù)質(zhì)量不過關(guān),也會讓數(shù)據(jù)分析效果大打折扣,甚至讓分析結(jié)果謬以千里。很多單位大數(shù)據(jù)應(yīng)用效果不佳,多半問題出在數(shù)據(jù)管理上。大家都同意把數(shù)據(jù)當(dāng)做資產(chǎn),甚至認(rèn)為有朝一日數(shù)據(jù)會計(jì)入資產(chǎn)負(fù)債表。但如果對比桌椅板凳這些實(shí)物資產(chǎn),我們對數(shù)據(jù)資產(chǎn)的管理,還處于非常原始的階段。我們往往對自己的數(shù)據(jù)資產(chǎn)有哪些、有多少都不兩眼一抹黑,更別說數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、資產(chǎn)評估、資產(chǎn)交換交易等精細(xì)管理、價(jià)值挖掘和持續(xù)運(yùn)營了。
然而,數(shù)據(jù)資產(chǎn)管理不像數(shù)據(jù)分析挖掘那么光鮮亮麗,就像城市的“下水道工程”,短期只有投入看不見產(chǎn)出。但長期又不得不做,是戰(zhàn)略層面的事,當(dāng)前不做未來返工的成本巨大。以后每個(gè)企業(yè)都將成為數(shù)據(jù)驅(qū)動(dòng)的企業(yè),打基礎(chǔ)的事情要盡早。
3.深化領(lǐng)域應(yīng)用。雖然大數(shù)據(jù)的應(yīng)用取得了一定進(jìn)展,在互聯(lián)網(wǎng)、金融、電信等領(lǐng)域產(chǎn)生了實(shí)實(shí)在在的效益,醫(yī)療、工業(yè)領(lǐng)域也正在加速。但總體上只能說剛剛走出了小半步。一類是“平行替代”,如用金融和電信行業(yè)用分布式技術(shù)(如Hadoop)來重構(gòu)原來的昂貴的數(shù)據(jù)倉庫。另一類則是“補(bǔ)課”,如政務(wù)、醫(yī)療、工業(yè)等領(lǐng)域,正在做的工作是在原有業(yè)務(wù)系統(tǒng)之外,新建本來早該建設(shè)的數(shù)據(jù)平臺。
這些大數(shù)據(jù)應(yīng)用,顯然還不夠高大上,是物理反應(yīng),是量變而非質(zhì)變,但的確也是發(fā)展必經(jīng)的階段。隨著這些“替代”型或“補(bǔ)課”型應(yīng)用的深入,未來業(yè)務(wù)與數(shù)據(jù)將加深融合,越來越多數(shù)據(jù)驅(qū)動(dòng)的新模式、新業(yè)態(tài)值得所有人期待。也只有這樣,數(shù)據(jù)強(qiáng)國戰(zhàn)略才能落到實(shí)處。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10