大數(shù)據(jù)的產(chǎn)業(yè)鏈分析

大數(shù)據(jù)的產(chǎn)業(yè)鏈分析大數(shù)據(jù)完整的產(chǎn)業(yè)鏈構成如下圖所示，可分為標準與規(guī)范、數(shù)據(jù)安全、數(shù)據(jù)采集、數(shù)據(jù)存儲與管理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)運維以及數(shù)據(jù)應用幾個環(huán)節(jié)，覆蓋了數(shù)據(jù)從產(chǎn)生到應用的整個生命周期?！?

1、數(shù)據(jù)標準與規(guī)范

大數(shù)據(jù)標準體系是開展大數(shù)據(jù)應用的前提條件，沒有統(tǒng)一的標準體系，數(shù)據(jù)共享、分析、挖掘、決策支持將無從談起。大數(shù)據(jù)標準包括體系結構標準、數(shù)據(jù)格式與表示標準、組織管理標準、安全標準和評測標準。在標準化建設方面，參與單位主要包括中國電子技術標準化研究院、各個數(shù)據(jù)庫公司、數(shù)據(jù)擁有部門以及各個行業(yè)的標準化組織。

2、 數(shù)據(jù)安全

隨著海量數(shù)據(jù)的不斷增加，對數(shù)據(jù)存儲和訪問的安全性要求越來越高，從而對數(shù)據(jù)的訪問控制技術、加密保護技術以及多副本與容災機制等提出了更高的要求。另外，由于大數(shù)據(jù)處理主要采用分布式計算方法，這必然面臨著數(shù)據(jù)傳輸、信息交互等環(huán)節(jié)，如何在這些環(huán)節(jié)中保護數(shù)據(jù)價值不泄露、信息不丟失，保護所有站點的安全是大數(shù)據(jù)發(fā)展面對的重大挑戰(zhàn)。在大數(shù)據(jù)時代，傳統(tǒng)的隱私數(shù)據(jù)內涵與外延有了巨大突破和延伸，數(shù)據(jù)的多元化與彼此的關聯(lián)性進一步發(fā)展，使得對單一數(shù)據(jù)的隱私保護方法變得極其脆弱，需要針對多元數(shù)據(jù)融合的安全提出。在數(shù)據(jù)安全環(huán)節(jié)上主要參與單位包括中國電子科技集團公司第30研究所以及奇虎 360、瑞星等殺毒軟件公司。

3 、數(shù)據(jù)采集

政府部門、以 BAT 為代表的互聯(lián)網(wǎng)企業(yè)、運營商是當前大數(shù)據(jù)的主要擁有者。除此之外，利用網(wǎng)絡爬蟲或網(wǎng)站公開 API 等途徑對網(wǎng)絡數(shù)據(jù)進行采集也是大數(shù)據(jù)的主要來源?，F(xiàn)實世界中的數(shù)據(jù)大多不完整或不一致，無法直接進行數(shù)據(jù)挖掘或挖掘結果不理想，需要對采集的數(shù)據(jù)進行填補、平滑、合并、規(guī)格化、檢查一致性等數(shù)據(jù)預處理操作，并且往往需要大量的人工參與，因此數(shù)據(jù)采集和清洗成為大數(shù)據(jù)產(chǎn)業(yè)鏈的一個重要環(huán)節(jié)。

4 、數(shù)據(jù)存儲與管理

大數(shù)據(jù)存儲與管理的主要參與者以傳統(tǒng)數(shù)據(jù)庫企業(yè)為主，國際上主要有 IBM、Oracle、Intel、Green-plum、infor Matri Cloudera 等; 國內主要有中興、華為、用友、浪潮、托爾思、數(shù)據(jù)堂、九次方、億贊普、達夢等。各家企業(yè)針對大數(shù)據(jù)應用開展各具特色的數(shù)據(jù)庫架構和數(shù)據(jù)組織管理研究，形成針對具體領域的產(chǎn)品。

5 、數(shù)據(jù)分析與挖掘

大數(shù)據(jù)分析與挖掘的意圖主要集中在兩方面： 一是從大量的機構結構化和半結構化數(shù)據(jù)中分析出計算機可以理解的語義信息或知識，二是對隱性的知識，如關聯(lián)情況、意圖等進行挖掘。常用的方法包括分類、聚類、關聯(lián)規(guī)則挖掘、序列模式挖掘、時間序列分析預測等。數(shù)據(jù)分析與挖掘的核心算法與軟件主要掌握在大型數(shù)據(jù)庫公司及高校的手里，國際上主要參與者包括 IBM、甲骨文、微軟、谷歌、亞馬遜、Facebook 等，國內主要參與單位包括數(shù)據(jù)庫企業(yè)、高校、以 BAT 為代表的大型互聯(lián)網(wǎng)企業(yè)等。數(shù)據(jù)分析與挖掘的能力直接決定了大數(shù)據(jù)的應用推廣程度和范圍，是大數(shù)據(jù)產(chǎn)業(yè)的核心。

6、 數(shù)據(jù)運維

由于數(shù)據(jù)的重要性得到普遍認可，除政府部門不具備數(shù)據(jù)運維服務條件外，數(shù)據(jù)的采集者通常就是數(shù)據(jù)運維者。各地政府方面則通常利用大數(shù)據(jù)平臺建設來推動政府大數(shù)據(jù)的公開與共享，如云上貴州，吸引個人和企業(yè)用戶開展創(chuàng)新與創(chuàng)業(yè)，積極推動大數(shù)據(jù)的增值服務。

7、 數(shù)據(jù)應用

大數(shù)據(jù)對傳統(tǒng)信息技術帶來革命性挑戰(zhàn)，正在重構信息技術體系和產(chǎn)業(yè)格局。國內以阿里巴巴、百度、騰訊、人大金倉、浪潮、曙光、南大通用為代表的互聯(lián)網(wǎng)企業(yè)、云計算和數(shù)據(jù)庫廠商紛紛加大應用推廣力度，在國際先進的開源大數(shù)據(jù)技術基礎上，形成獨自的大數(shù)據(jù)平臺構建和應用服務解決方案，以支撐不同行業(yè)不同領域的專業(yè)化應用。雖然這些企業(yè)在平臺構建上有著得天獨厚的優(yōu)勢，但是在某些具體業(yè)務領域，并不擅長或者關切。傳統(tǒng)企業(yè)以及從事大數(shù)據(jù)的微型企業(yè)是具體業(yè)務領域上大數(shù)據(jù)應用的主力軍。應用是大數(shù)據(jù)價值的體現(xiàn)，是大數(shù)據(jù)發(fā)展的原始推動力。當前大數(shù)據(jù)的應用正倒逼軟件技術、數(shù)據(jù)架構、數(shù)據(jù)共享方式的轉變，在轉變思維過程中需要積極轉變思維，明確出數(shù)據(jù)共享的方式是什么，數(shù)據(jù)擁有者的利益如何平衡，商業(yè)模式如何開展等等。