
我國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展態(tài)勢(shì)分析及建議
我國(guó)高度重視大數(shù)據(jù)的戰(zhàn)略意義和數(shù)據(jù)資源對(duì)社會(huì)經(jīng)濟(jì)發(fā)展的積極作用,國(guó)務(wù)院于2015年出臺(tái)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,并將“實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略,推進(jìn)數(shù)據(jù)資源開放共享”納入“十三五”期間規(guī)劃和建設(shè)的重要目標(biāo)。目前國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展已初具規(guī)模,但尚未形成產(chǎn)業(yè)界定共識(shí)。本文首先就大數(shù)據(jù)產(chǎn)業(yè)的核心要素進(jìn)行探討,然后從核心要素展開闡述我國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的若干特點(diǎn),最后結(jié)合發(fā)展現(xiàn)狀和問(wèn)題提出相關(guān)策略建議。
一、大數(shù)據(jù)產(chǎn)業(yè)的核心要素
普遍意義上來(lái)講,大數(shù)據(jù)產(chǎn)業(yè)是以數(shù)據(jù)及數(shù)據(jù)所蘊(yùn)含的信息價(jià)值為核心資源所構(gòu)成的生態(tài)環(huán)境,它包含了與大數(shù)據(jù)管理和價(jià)值實(shí)現(xiàn)相關(guān)的企業(yè)、行業(yè)機(jī)構(gòu)等社會(huì)主體的經(jīng)濟(jì)活動(dòng)集合。遵照產(chǎn)業(yè)定義的通用原則,產(chǎn)業(yè)各環(huán)節(jié)的參與實(shí)體應(yīng)能夠提供可交付的產(chǎn)品和服務(wù),并形成上下游產(chǎn)業(yè)鏈供需關(guān)系。在此基礎(chǔ)上,依據(jù)數(shù)據(jù)價(jià)值的提升路徑和IT領(lǐng)域的產(chǎn)品布局,我們將大數(shù)據(jù)產(chǎn)業(yè)的核心要素歸納為數(shù)據(jù)資源、數(shù)據(jù)基礎(chǔ)能力、數(shù)據(jù)分析和展示、數(shù)據(jù)應(yīng)用幾個(gè)重要組成部分。
圖1. 大數(shù)據(jù)產(chǎn)業(yè)核心要素示意圖1
其中,數(shù)據(jù)資源部分負(fù)責(zé)原始數(shù)據(jù)的供給和交換,是數(shù)據(jù)資產(chǎn)作為生產(chǎn)要素的直接表現(xiàn),根據(jù)數(shù)據(jù)來(lái)源的不同,可以細(xì)分為數(shù)據(jù)資源提供者和數(shù)據(jù)交易平臺(tái)兩種角色;數(shù)據(jù)基礎(chǔ)能力部分負(fù)責(zé)與數(shù)據(jù)生產(chǎn)加工相關(guān)的基礎(chǔ)設(shè)施和技術(shù)要素供應(yīng),為數(shù)據(jù)加工和價(jià)值提升提供生產(chǎn)工具,主要包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理和數(shù)據(jù)庫(kù)等多個(gè)角色;數(shù)據(jù)分析和展示部分負(fù)責(zé)數(shù)據(jù)隱含價(jià)值的挖掘、數(shù)據(jù)關(guān)聯(lián)分析和可視化展現(xiàn)等,是智力要素在數(shù)據(jù)價(jià)值中的集中體現(xiàn),包括傳統(tǒng)意義上的BI、可視化和通用數(shù)據(jù)分析工具,以及面向非結(jié)構(gòu)化數(shù)據(jù)提供的語(yǔ)音、圖像等媒體識(shí)別服務(wù);數(shù)據(jù)應(yīng)用部分根據(jù)數(shù)據(jù)分析和加工的結(jié)果,面向電商、金融、交通等細(xì)分行業(yè)提供精準(zhǔn)營(yíng)銷、信用評(píng)估、出行引導(dǎo)等企業(yè)或公眾服務(wù)。
二、我國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展現(xiàn)狀和特點(diǎn)
自2013年大數(shù)據(jù)的概念迅速普及,國(guó)內(nèi)大數(shù)據(jù)領(lǐng)域在電信、互聯(lián)網(wǎng)、金融、電商等信息化領(lǐng)先行業(yè)的引導(dǎo)和帶動(dòng)下,聚集了BAT等龍頭企業(yè)和數(shù)百家中小及初創(chuàng)企業(yè),在大數(shù)據(jù)產(chǎn)業(yè)的主要環(huán)節(jié)完成了初步布局,產(chǎn)品和服務(wù)供應(yīng)鏈能夠滿足基本數(shù)據(jù)生產(chǎn)加工的全生命周期覆蓋。經(jīng)過(guò)兩三年的持續(xù)發(fā)展,我國(guó)的大數(shù)據(jù)產(chǎn)業(yè)呈現(xiàn)出以下幾個(gè)發(fā)展特點(diǎn)。
數(shù)據(jù)資源層,開放主體集中在信息化基礎(chǔ)較好行業(yè)及地區(qū),并呈現(xiàn)服務(wù)化趨勢(shì)。隨著大數(shù)據(jù)產(chǎn)業(yè)中數(shù)據(jù)資源參與主體的逐漸增多,我國(guó)的數(shù)據(jù)開放程度得到了普遍提升。一方面,數(shù)據(jù)開放的主體集中在部分信息化基礎(chǔ)較好行業(yè)及經(jīng)濟(jì)發(fā)達(dá)地區(qū),如互聯(lián)網(wǎng)、交通出行、教育科研行業(yè)等,都出現(xiàn)了相應(yīng)的數(shù)據(jù)開放企業(yè)和平臺(tái)。政府推動(dòng)的公共信息資源開放網(wǎng)站也主要由信息經(jīng)濟(jì)較發(fā)達(dá)地區(qū)先行先試,并逐漸向周邊省市輻射擴(kuò)散。另一方面,第三方數(shù)據(jù)交易平臺(tái)不斷涌現(xiàn),填補(bǔ)了居間服務(wù)的市場(chǎng)空白。目前全國(guó)范圍內(nèi)已建成及正在籌建的地方數(shù)據(jù)交易機(jī)構(gòu)達(dá)到十余家。一些早期的數(shù)據(jù)交易平臺(tái)逐漸從單一的居間服務(wù)商向數(shù)據(jù)資源綜合服務(wù)商轉(zhuǎn)型。
數(shù)據(jù)基礎(chǔ)能力層,參與主體基本完成云時(shí)代向數(shù)據(jù)時(shí)代的轉(zhuǎn)型升級(jí)。隨著大規(guī)模數(shù)據(jù)存儲(chǔ)和處理能力需求的快速增長(zhǎng),以BAT、華為、浪潮等為代表的云計(jì)算服務(wù)提供商,根據(jù)自身的原始積累和優(yōu)勢(shì)資源完成向數(shù)據(jù)驅(qū)動(dòng)企業(yè)的戰(zhàn)略轉(zhuǎn)型。百度憑借其長(zhǎng)期積累的用戶搜索記錄推出了百度數(shù)據(jù)開放平臺(tái),通過(guò)百度搜索服務(wù)提供“即搜即得”的高效數(shù)據(jù)展現(xiàn)。阿里云從基礎(chǔ)的彈性資源供給逐漸擴(kuò)展服務(wù)類型,研發(fā)并提供了支持PB級(jí)數(shù)據(jù)存儲(chǔ)的分布式關(guān)系型數(shù)據(jù)庫(kù)(PetaData)等一系列數(shù)據(jù)支撐產(chǎn)品。華為的分布式存儲(chǔ)管理系統(tǒng)FusionStorage為異構(gòu)海量數(shù)據(jù)的存儲(chǔ)管理提供了彈性可擴(kuò)展的技術(shù)保障。
數(shù)據(jù)分析以及應(yīng)用層,中小和初創(chuàng)企業(yè)積極占領(lǐng)戰(zhàn)略高地。由于缺失原始數(shù)據(jù)資產(chǎn)和先期市場(chǎng)份額,中小企業(yè),特別是初創(chuàng)企業(yè)集中布局在數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用等低基礎(chǔ)產(chǎn)業(yè)環(huán)節(jié),投融資形勢(shì)異?;鸨?。據(jù)中關(guān)村數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟統(tǒng)計(jì)數(shù)據(jù)顯示,中關(guān)村從事數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用的企業(yè)合計(jì)超過(guò)110家,占總數(shù)2/3以上。投融資方面,據(jù)不完全統(tǒng)計(jì)2015年在國(guó)內(nèi)融資的大數(shù)據(jù)創(chuàng)業(yè)公司超過(guò)50家,總?cè)谫Y金額超過(guò)50億人民幣,其中從事數(shù)據(jù)分析和行業(yè)數(shù)據(jù)應(yīng)用的創(chuàng)業(yè)公司近40家,占75%以上。2016年上半年,數(shù)據(jù)分析和應(yīng)用兩個(gè)領(lǐng)域的創(chuàng)業(yè)公司融資情況占據(jù)了主流,數(shù)量為17家,占比達(dá)到70%。
此外,硬件和軟件相互滲透的兩種商業(yè)模式并舉并行,為大數(shù)據(jù)產(chǎn)業(yè)帶來(lái)新機(jī)遇。為了更廣泛地覆蓋數(shù)據(jù)生產(chǎn)加工流程,延長(zhǎng)其產(chǎn)品和服務(wù)在數(shù)據(jù)生命周期中的作用范圍,大數(shù)據(jù)產(chǎn)業(yè)的參與企業(yè)逐漸打破硬件和軟件的產(chǎn)品界限,形成了“硬件帶動(dòng)軟件”和“軟件帶動(dòng)硬件”兩種新型商業(yè)模式。浪潮推出的SmartRack系列整機(jī)柜服務(wù)器,針對(duì)深度學(xué)習(xí)應(yīng)用、社交數(shù)據(jù)存儲(chǔ)、熱數(shù)據(jù)處理等不同數(shù)據(jù)處理場(chǎng)景制定了多種混搭架構(gòu)方案,以一體機(jī)的方式實(shí)現(xiàn)硬件設(shè)施和軟件管理的集成交付。阿里巴巴發(fā)布的數(shù)加平臺(tái)率先探索以“軟件帶動(dòng)硬件”的市場(chǎng)營(yíng)銷模式,該平臺(tái)通過(guò)提供數(shù)據(jù)計(jì)算引擎、機(jī)器學(xué)習(xí)等開放服務(wù),將阿里云的計(jì)算、存儲(chǔ)等多種資源有機(jī)地組織在一起形成解決方案,有效擴(kuò)展阿里云在實(shí)際生產(chǎn)環(huán)境中的部署推廣途徑。
三、我國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展建議
把握源頭,強(qiáng)化數(shù)據(jù)質(zhì)量管理。目前數(shù)據(jù)資源開放在開放范圍、開發(fā)利用方式、數(shù)據(jù)可用性等方面仍存在局限性和不足。截止2016年5月,全國(guó)共有九個(gè)省份/直轄市開通了區(qū)域級(jí)數(shù)據(jù)開放網(wǎng)站。雖然與去年同期相比,平臺(tái)數(shù)量有所增加,但大多數(shù)地區(qū)仍面臨數(shù)據(jù)開放格式不一致、可機(jī)讀性較差,更新頻率較低等現(xiàn)實(shí)問(wèn)題。部分地方或第三方數(shù)據(jù)交易平臺(tái)在流通效率、質(zhì)量管理方面良莠不齊,特別是不同行業(yè)數(shù)據(jù)維度不統(tǒng)一、語(yǔ)義不協(xié)同等共性問(wèn)題制約了交易市場(chǎng)的規(guī)模化發(fā)展。為推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展,需要進(jìn)一步把握好數(shù)據(jù)源頭,推動(dòng)各方不斷加強(qiáng)自身數(shù)據(jù)能力建設(shè),做優(yōu)存量、做大增量,加快完善相關(guān)配套措施確保隱私和信息安全。同時(shí)鼓勵(lì)參與主體共同推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)化進(jìn)程,健全數(shù)據(jù)交易規(guī)范,探索數(shù)據(jù)資產(chǎn)定價(jià)機(jī)制,以各行業(yè)多樣化應(yīng)用需求撬動(dòng)數(shù)據(jù)交易市場(chǎng)巨大發(fā)展?jié)摿Α?
細(xì)化分工,關(guān)注數(shù)據(jù)技術(shù)過(guò)渡領(lǐng)域。與美國(guó)等數(shù)據(jù)產(chǎn)業(yè)發(fā)達(dá)國(guó)家相比,我國(guó)大數(shù)據(jù)產(chǎn)業(yè)的短板仍較明顯,數(shù)據(jù)加工處理服務(wù)、數(shù)據(jù)庫(kù)技術(shù)和通用數(shù)據(jù)分析工具等基礎(chǔ)性通用數(shù)據(jù)技術(shù)差距較大,同時(shí)市場(chǎng)主體數(shù)量少、自主知識(shí)產(chǎn)權(quán)把控能力低等現(xiàn)狀導(dǎo)致未來(lái)發(fā)展動(dòng)力不足。傳統(tǒng)行業(yè)和企業(yè)對(duì)數(shù)據(jù)分析應(yīng)用具有巨大需求潛力,但其數(shù)據(jù)資源多以結(jié)構(gòu)化為主。原有結(jié)構(gòu)化數(shù)據(jù)和新增非結(jié)構(gòu)化數(shù)據(jù)之間的互訪問(wèn)操作和融合管理成為新式共性技術(shù)要素,是搶占未來(lái)主流市場(chǎng)的關(guān)鍵技術(shù)機(jī)遇點(diǎn)。美國(guó)等技術(shù)先驅(qū)國(guó)家的產(chǎn)業(yè)版圖已完成了技術(shù)過(guò)渡領(lǐng)域的初步布局,我國(guó)產(chǎn)業(yè)參與主體也應(yīng)考慮進(jìn)一步細(xì)化市場(chǎng)分工,形成專業(yè)性強(qiáng)、銜接緊密的產(chǎn)業(yè)新生態(tài),并積極加大過(guò)渡時(shí)期的技術(shù)研發(fā)力度,實(shí)現(xiàn)數(shù)據(jù)過(guò)渡期與發(fā)達(dá)國(guó)家的同步發(fā)展。
強(qiáng)化合作,探索新型商業(yè)模式。大數(shù)據(jù)產(chǎn)業(yè)是技術(shù)密集型產(chǎn)業(yè),同時(shí)也是業(yè)務(wù)驅(qū)動(dòng)為主的實(shí)用型產(chǎn)業(yè)。就數(shù)據(jù)分析和運(yùn)用過(guò)程中需解決的共性基礎(chǔ)研究問(wèn)題,歐美等數(shù)據(jù)產(chǎn)業(yè)發(fā)達(dá)國(guó)家通常采用以開源社區(qū)先行的開放合作模式,采用“眾包”思想不斷完善系統(tǒng)架構(gòu)和產(chǎn)品服務(wù)功能,提供更為通用和普適的技術(shù)解決方案。經(jīng)過(guò)大量企業(yè)在生產(chǎn)實(shí)踐中的優(yōu)勝劣汰自由選擇,不斷成熟和完善的開源產(chǎn)品逐漸從免費(fèi)提供向企業(yè)化盈利的商業(yè)模式進(jìn)行演變。相比之下,我國(guó)數(shù)據(jù)產(chǎn)業(yè)的參與主體在開源社區(qū)中的貢獻(xiàn)仍然較低,企業(yè)間合作、國(guó)際間合作的參與熱情有待提高。應(yīng)借鑒國(guó)外企業(yè)的成功經(jīng)驗(yàn),以開源產(chǎn)品和服務(wù)為基礎(chǔ),提供定制化和深度支撐的新型商業(yè)模式,同時(shí)也能夠?yàn)橹行∑髽I(yè)和初創(chuàng)企業(yè)參與大數(shù)據(jù)產(chǎn)業(yè)提供新的發(fā)展思路。
1很多大數(shù)據(jù)企業(yè)的主營(yíng)業(yè)務(wù)涵蓋某一核心要素中的多類或橫跨多個(gè)核心要素,圖中示意僅列舉了代表企業(yè)的典型服務(wù)或產(chǎn)品。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10