一篇對(duì)大數(shù)據(jù)深度思考的文章，讓你認(rèn)識(shí)并讀懂大數(shù)據(jù)(二)

大數(shù)據(jù)常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要分布式處理框架來向數(shù)十、數(shù)百或甚至數(shù)萬的電腦分配工作。可以說，云計(jì)算充當(dāng)了工業(yè)革命時(shí)期的發(fā)動(dòng)機(jī)的角色，而大數(shù)據(jù)則是電。

云計(jì)算思想的起源是麥卡錫在上世紀(jì)60年代提出的：把計(jì)算能力作為一種像水和電一樣的公用事業(yè)提供給用戶。

如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，一種行之有效的模式出現(xiàn)了：云計(jì)算提供基礎(chǔ)架構(gòu)平臺(tái)，大數(shù)據(jù)應(yīng)用運(yùn)行在這個(gè)平臺(tái)上。

業(yè)內(nèi)是這么形容兩者的關(guān)系：沒有大數(shù)據(jù)的信息積淀，則云計(jì)算的計(jì)算能力再強(qiáng)大，也難以找到用武之地;沒有云計(jì)算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。

那么大數(shù)據(jù)到底需要哪些云計(jì)算技術(shù)呢?

這里暫且列舉一些，比如虛擬化技術(shù)，分布式處理技術(shù)，海量數(shù)據(jù)的存儲(chǔ)和管理技術(shù)，NoSQL、實(shí)時(shí)流數(shù)據(jù)處理、智能分析技術(shù)(類似模式識(shí)別以及自然語言理解)等。

云計(jì)算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來說明，兩者之間結(jié)合后會(huì)產(chǎn)生如下效應(yīng)：可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù);通過云計(jì)算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。

如果將云計(jì)算與大數(shù)據(jù)進(jìn)行一些比較，最明顯的區(qū)分在兩個(gè)方面：

第一，在概念上兩者有所不同，云計(jì)算改變了IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運(yùn)營。

第二，大數(shù)據(jù)和云計(jì)算的目標(biāo)受眾不同，云計(jì)算是CIO等關(guān)心的技術(shù)層，是一個(gè)進(jìn)階的IT解決方案。而大數(shù)據(jù)是CEO關(guān)注的、是業(yè)務(wù)層的產(chǎn)品，而大數(shù)據(jù)的決策者是業(yè)務(wù)層。

分布式處理技術(shù)

分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。

以Hadoop(Yahoo)為例進(jìn)行說明，Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。

而MapReduce是Google提出的一種云計(jì)算的核心計(jì)算模式，是一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，MapReduce模式的主要思想是將自動(dòng)分割要執(zhí)行的問題(例如程序)拆解成map(映射)和reduce(化簡(jiǎn))的方式， 在數(shù)據(jù)被分割后通過Map 函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計(jì)算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果，在通過Reduce 函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開發(fā)者需要的結(jié)果。

再來看看Hadoop的特性，第一，它是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。其次，Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。

你也可以這么理解Hadoop的構(gòu)成，Hadoop=HDFS(文件系統(tǒng)，數(shù)據(jù)存儲(chǔ)技術(shù)相關(guān))+HBase(數(shù)據(jù)庫)+MapReduce(數(shù)據(jù)處理)+……Others

Hadoop用到的一些技術(shù)有：

HDFS: Hadoop分布式文件系統(tǒng)(Distributed File System) – HDFS (HadoopDistributed File System)

MapReduce：并行計(jì)算框架

HBase: 類似Google BigTable的分布式NoSQL列數(shù)據(jù)庫。

Hive：數(shù)據(jù)倉庫工具，由Facebook貢獻(xiàn)。

Zookeeper：分布式鎖設(shè)施，提供類似Google Chubby的功能，由Facebook貢獻(xiàn)。

Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制。

Pig:大數(shù)據(jù)分析平臺(tái)，為用戶提供多種接口。

Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。

Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫間進(jìn)行數(shù)據(jù)的傳遞。

說了這么多，舉個(gè)實(shí)際的例子，雖然這個(gè)例子有些陳舊，但是淘寶的海量數(shù)據(jù)技術(shù)架構(gòu)還是有助于我們理解對(duì)于大數(shù)據(jù)的運(yùn)作處理機(jī)制:

淘寶大數(shù)據(jù)

如上圖所示，淘寶的海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)分為五個(gè)層次，從上至下來看它們分別是：數(shù)據(jù)源，計(jì)算層，存儲(chǔ)層，查詢層和產(chǎn)品層。

數(shù)據(jù)來源層：存放著淘寶各店的交易數(shù)據(jù)。在數(shù)據(jù)源層產(chǎn)生的數(shù)據(jù)，通過DataX，DbSync和Timetunel準(zhǔn)實(shí)時(shí)的傳輸?shù)较旅娴?點(diǎn)所述的“云梯”。

計(jì)算層：在這個(gè)計(jì)算層內(nèi)，淘寶采用的是Hadoop集群，這個(gè)集群，我們暫且稱之為云梯，是計(jì)算層的主要組成部分。在云梯上，系統(tǒng)每天會(huì)對(duì)數(shù)據(jù)產(chǎn)品進(jìn)行不同的MapReduce計(jì)算。

存儲(chǔ)層：在這一層，淘寶采用了兩個(gè)東西，一個(gè)使MyFox，一個(gè)是Prom。MyFox是基于MySQL的分布式關(guān)系型數(shù)據(jù)庫的集群，Prom是基于Hadoop Hbase技術(shù)的一個(gè)NoSQL的存儲(chǔ)集群。

查詢層：在這一層中，Glider是以HTTP協(xié)議對(duì)外提供restful方式的接口。數(shù)據(jù)產(chǎn)品通過一個(gè)唯一的URL來獲取到它想要的數(shù)據(jù)。同時(shí)，數(shù)據(jù)查詢即是通過MyFox來查詢的。

最后一層是產(chǎn)品層，這個(gè)就不用解釋了。

存儲(chǔ)技術(shù)

大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析，這兩者的關(guān)系是：大數(shù)據(jù)存儲(chǔ)的目的是支撐大數(shù)據(jù)分析。到目前為止，還是兩種截然不同的計(jì)算機(jī)技術(shù)領(lǐng)域：大數(shù)據(jù)存儲(chǔ)致力于研發(fā)可以擴(kuò)展至PB甚至EB級(jí)別的數(shù)據(jù)存儲(chǔ)平臺(tái);大數(shù)據(jù)分析關(guān)注在最短時(shí)間內(nèi)處理大量不同類型的數(shù)據(jù)集。

提到存儲(chǔ)，有一個(gè)著名的摩爾定律相信大家都聽過：18個(gè)月集成電路的復(fù)雜性就增加一倍。所以，存儲(chǔ)器的成本大約每18-24個(gè)月就下降一半。成本的不斷下降也造就了大數(shù)據(jù)的可存儲(chǔ)性。

比如，Google大約管理著超過50萬臺(tái)服務(wù)器和100萬塊硬盤，而且Google還在不斷的擴(kuò)大計(jì)算能力和存儲(chǔ)能力，其中很多的擴(kuò)展都是基于在廉價(jià)服務(wù)器和普通存儲(chǔ)硬盤的基礎(chǔ)上進(jìn)行的，這大大降低了其服務(wù)成本，因此可以將更多的資金投入到技術(shù)的研發(fā)當(dāng)中。

以Amazon舉例，Amazon S3 是一種面向 Internet 的存儲(chǔ)服務(wù)。該服務(wù)旨在讓開發(fā)人員能更輕松的進(jìn)行網(wǎng)絡(luò)規(guī)模計(jì)算。Amazon S3 提供一個(gè)簡(jiǎn)明的 Web 服務(wù)界面，用戶可通過它隨時(shí)在 Web 上的任何位置存儲(chǔ)和檢索的任意大小的數(shù)據(jù)。 此服務(wù)讓所有開發(fā)人員都能訪問同一個(gè)具備高擴(kuò)展性、可靠性、安全性和快速價(jià)廉的基礎(chǔ)設(shè)施，Amazon 用它來運(yùn)行其全球的網(wǎng)站網(wǎng)絡(luò)。再看看S3的設(shè)計(jì)指標(biāo)：在特定年度內(nèi)為數(shù)據(jù)元提供 99.999999999% 的耐久性和 99.99% 的可用性，并能夠承受兩個(gè)設(shè)施中的數(shù)據(jù)同時(shí)丟失。

S3很成功也確實(shí)卓有成效，S3云的存儲(chǔ)對(duì)象已達(dá)到萬億級(jí)別，而且性能表現(xiàn)相當(dāng)良好。S3云已經(jīng)擁萬億跨地域存儲(chǔ)對(duì)象，同時(shí)AWS的對(duì)象執(zhí)行請(qǐng)求也達(dá)到百萬的峰值數(shù)量。目前全球范圍內(nèi)已經(jīng)有數(shù)以十萬計(jì)的企業(yè)在通過AWS運(yùn)行自己的全部或者部分日常業(yè)務(wù)。這些企業(yè)用戶遍布190多個(gè)國家，幾乎世界上的每個(gè)角落都有Amazon用戶的身影。

感知技術(shù)

大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。以傳感器技術(shù)，指紋識(shí)別技術(shù)，RFID技術(shù)，坐標(biāo)定位技術(shù)等為基礎(chǔ)的感知能力提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。全世界的工業(yè)設(shè)備、汽車、電表上有著無數(shù)的數(shù)碼傳感器，隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，都會(huì)產(chǎn)生海量的數(shù)據(jù)信息。

而隨著智能手機(jī)的普及，感知技術(shù)可謂迎來了發(fā)展的高峰期，除了地理位置信息被廣泛的應(yīng)用外，一些新的感知手段也開始登上舞臺(tái)，比如，最新的”iPhone 5S”在home鍵內(nèi)嵌指紋傳感器，新型手機(jī)可通過呼氣直接檢測(cè)燃燒脂肪量，用于手機(jī)的嗅覺傳感器面世可以監(jiān)測(cè)從空氣污染到危險(xiǎn)的化學(xué)藥品，微軟正在研發(fā)可感知用戶當(dāng)前心情智能手機(jī)技術(shù)，谷歌眼鏡InSight新技術(shù)可通過衣著進(jìn)行人物識(shí)別。

除此之外，還有很多與感知相關(guān)的技術(shù)革新讓我們耳目一新：比如，牙齒傳感器實(shí)時(shí)監(jiān)控口腔活動(dòng)及飲食狀況，嬰兒穿戴設(shè)備可用大數(shù)據(jù)去養(yǎng)育寶寶，Intel正研發(fā)3D筆記本攝像頭可追蹤眼球讀懂情緒，日本公司開發(fā)新型可監(jiān)控用戶心率的紡織材料，業(yè)界正在嘗試將生物測(cè)定技術(shù)引入支付領(lǐng)域等。

其實(shí)，這些感知被逐漸捕獲的過程就是就世界被數(shù)據(jù)化的過程，一旦世界被完全數(shù)據(jù)化了，那么世界的本質(zhì)也就是信息了。

就像一句名言所說，“人類以前延續(xù)的是文明，現(xiàn)在傳承的是信息?！?/span>

大數(shù)據(jù)的實(shí)踐

互聯(lián)網(wǎng)的大數(shù)據(jù)

互聯(lián)網(wǎng)上的數(shù)據(jù)每年增長(zhǎng)50%，每?jī)赡瓯銓⒎环?，而目前世界?0%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。據(jù)IDC預(yù)測(cè)，到2020年全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量?；ヂ?lián)網(wǎng)是大數(shù)據(jù)發(fā)展的前哨陣地，隨著WEB2.0時(shí)代的發(fā)展，人們似乎都習(xí)慣了將自己的生活通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)化，方便分享以及記錄并回憶。

互聯(lián)網(wǎng)上的大數(shù)據(jù)很難清晰的界定分類界限，我們先看看BAT的大數(shù)據(jù)：

百度擁有兩種類型的大數(shù)據(jù)：用戶搜索表征的需求數(shù)據(jù);爬蟲和阿拉丁獲取的公共web數(shù)據(jù)。搜索巨頭百度圍繞數(shù)據(jù)而生。它對(duì)網(wǎng)頁數(shù)據(jù)的爬取、網(wǎng)頁內(nèi)容的組織和解析，通過語義分析對(duì)搜索需求的精準(zhǔn)理解進(jìn)而從海量數(shù)據(jù)中找準(zhǔn)結(jié)果，以及精準(zhǔn)的搜索引擎關(guān)鍵字廣告，實(shí)質(zhì)上就是一個(gè)數(shù)據(jù)的獲取、組織、分析和挖掘的過程。搜索引擎在大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)有：更多的暗網(wǎng)數(shù)據(jù);更多的WEB化但是沒有結(jié)構(gòu)化的數(shù)據(jù);更多的WEB化、結(jié)構(gòu)化但是封閉的數(shù)據(jù)。

阿里巴巴擁有交易數(shù)據(jù)和信用數(shù)據(jù)。這兩種數(shù)據(jù)更容易變現(xiàn)，挖掘出商業(yè)價(jià)值。除此之外阿里巴巴還通過投資等方式掌握了部分社交數(shù)據(jù)、移動(dòng)數(shù)據(jù)。如微博和高德。

騰訊擁有用戶關(guān)系數(shù)據(jù)和基于此產(chǎn)生的社交數(shù)據(jù)。這些數(shù)據(jù)可以分析人們的生活和行為,從里面挖掘出政治、社會(huì)、文化、商業(yè)、健康等領(lǐng)域的信息，甚至預(yù)測(cè)未來。

在信息技術(shù)更為發(fā)達(dá)的美國，除了行業(yè)知名的類似Google，F(xiàn)acebook外，已經(jīng)涌現(xiàn)了很多大數(shù)據(jù)類型的公司，它們專門經(jīng)營數(shù)據(jù)產(chǎn)品，比如：

Metamarkets：這家公司對(duì)Twitter、支付、簽到和一些與互聯(lián)網(wǎng)相關(guān)的問題進(jìn)行了分析，為客戶提供了很好的數(shù)據(jù)分析支持。

Tableau：他們的精力主要集中于將海量數(shù)據(jù)以可視化的方式展現(xiàn)出來。Tableau為數(shù)字媒體提供了一個(gè)新的展示數(shù)據(jù)的方式。他們提供了一個(gè)免費(fèi)工具，任何人在沒有編程知識(shí)背景的情況下都能制造出數(shù)據(jù)專用圖表。這個(gè)軟件還能對(duì)數(shù)據(jù)進(jìn)行分析，并提供有價(jià)值的建議。

ParAccel：他們向美國執(zhí)法機(jī)構(gòu)提供了數(shù)據(jù)分析，比如對(duì)15000個(gè)有犯罪前科的人進(jìn)行跟蹤，從而向執(zhí)法機(jī)構(gòu)提供了參考性較高的犯罪預(yù)測(cè)。他們是犯罪的預(yù)言者。

QlikTech：QlikTech旗下的Qlikview是一個(gè)商業(yè)智能領(lǐng)域的自主服務(wù)工具，能夠應(yīng)用于科學(xué)研究和藝術(shù)等領(lǐng)域。為了幫助開發(fā)者對(duì)這些數(shù)據(jù)進(jìn)行分析，QlikTech提供了對(duì)原始數(shù)據(jù)進(jìn)行可視化處理等功能的工具。

GoodData：GoodData希望幫助客戶從數(shù)據(jù)中挖掘財(cái)富。這家創(chuàng)業(yè)公司主要面向商業(yè)用戶和IT企業(yè)高管，提供數(shù)據(jù)存儲(chǔ)、性能報(bào)告、數(shù)據(jù)分析等工具。

TellApart：TellApart和電商公司進(jìn)行合作，他們會(huì)根據(jù)用戶的瀏覽行為等數(shù)據(jù)進(jìn)行分析，通過鎖定潛在買家方式提高電商企業(yè)的收入。

DataSift：DataSift主要收集并分析社交網(wǎng)絡(luò)媒體上的數(shù)據(jù)，并幫助品牌公司掌握突發(fā)新聞的輿論點(diǎn)，并制定有針對(duì)性的營銷方案。這家公司還和Twitter有合作協(xié)議，使得自己變成了行業(yè)中為數(shù)不多可以分析早期tweet的創(chuàng)業(yè)公司。

Datahero：公司的目標(biāo)是將復(fù)雜的數(shù)據(jù)變得更加簡(jiǎn)單明了，方便普通人去理解和想象。

舉了很多例子，這里簡(jiǎn)要?dú)w納一下，在互聯(lián)網(wǎng)大數(shù)據(jù)的典型代表性包括：

用戶行為數(shù)據(jù)(精準(zhǔn)廣告投放、內(nèi)容推薦、行為習(xí)慣和喜好分析、產(chǎn)品優(yōu)化等)

用戶消費(fèi)數(shù)據(jù)(精準(zhǔn)營銷、信用記錄分析、活動(dòng)促銷、理財(cái)?shù)?

用戶地理位置數(shù)據(jù)(O2O推廣，商家推薦，交友推薦等)

互聯(lián)網(wǎng)金融數(shù)據(jù)(P2P，小額貸款，支付，信用，供應(yīng)鏈金融等)

用戶社交等UGC數(shù)據(jù)(趨勢(shì)分析、流行元素分析、受歡迎程度分析、輿論監(jiān)控分析、社會(huì)問題分析等)

政府的大數(shù)據(jù)

近期，奧巴馬政府宣布投資2億美元拉動(dòng)大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國家意志。奧巴馬政府將數(shù)據(jù)定義為“未來的新石油”，并表示一個(gè)國家擁有數(shù)據(jù)的規(guī)模、活性及解釋運(yùn)用的能力將成為綜合國力的重要組成部分，未來，對(duì)數(shù)據(jù)的占有和控制甚至將成為陸權(quán)、海權(quán)、空權(quán)之外的另一種國家核心資產(chǎn)。

在國內(nèi)，政府各個(gè)部門都握有構(gòu)成社會(huì)基礎(chǔ)的原始數(shù)據(jù)，比如，氣象數(shù)據(jù)，金融數(shù)據(jù)，信用數(shù)據(jù)，電力數(shù)據(jù)，煤氣數(shù)據(jù)，自來水?dāng)?shù)據(jù)，道路交通數(shù)據(jù)，客運(yùn)數(shù)據(jù)，安全刑事案件數(shù)據(jù)，住房數(shù)據(jù)，海關(guān)數(shù)據(jù)，出入境數(shù)據(jù)，旅游數(shù)據(jù)，醫(yī)療數(shù)據(jù)，教育數(shù)據(jù)，環(huán)保數(shù)據(jù)等等。這些數(shù)據(jù)在每個(gè)政府部門里面看起來是單一的，靜態(tài)的。但是，如果政府可以將這些數(shù)據(jù)關(guān)聯(lián)起來，并對(duì)這些數(shù)據(jù)進(jìn)行有效的關(guān)聯(lián)分析和統(tǒng)一管理，這些數(shù)據(jù)必定將獲得新生，其價(jià)值是無法估量的。

具體來說，現(xiàn)在城市都在走向智能和智慧，比如，智能電網(wǎng)、智慧交通、智慧醫(yī)療、智慧環(huán)保、智慧城市，這些都依托于大數(shù)據(jù)，可以說大數(shù)據(jù)是智慧的核心能源。從國內(nèi)整體投資規(guī)模來看，到2012年底全國開建智慧城市的城市數(shù)超過180個(gè)，通信網(wǎng)絡(luò)和數(shù)據(jù)平臺(tái)等基礎(chǔ)設(shè)施建設(shè)投資規(guī)模接近5000億元?！笆濉逼陂g智慧城市建設(shè)拉動(dòng)的設(shè)備投資規(guī)模將達(dá)1萬億元人民幣。大數(shù)據(jù)為智慧城市的各個(gè)領(lǐng)域提供決策支持。在城市規(guī)劃方面，通過對(duì)城市地理、氣象等自然信息和經(jīng)濟(jì)、社會(huì)、文化、人口等人文社會(huì)信息的挖掘，可以為城市規(guī)劃提供決策，強(qiáng)化城市管理服務(wù)的科學(xué)性和前瞻性。在交通管理方面，通過對(duì)道路交通信息的實(shí)時(shí)挖掘，能有效緩解交通擁堵，并快速響應(yīng)突發(fā)狀況，為城市交通的良性運(yùn)轉(zhuǎn)提供科學(xué)的決策依據(jù)。在輿情監(jiān)控方面，通過網(wǎng)絡(luò)關(guān)鍵詞搜索及語義智能分析，能提高輿情分析的及時(shí)性、全面性，全面掌握社情民意，提高公共服務(wù)能力，應(yīng)對(duì)網(wǎng)絡(luò)突發(fā)的公共事件，打擊違法犯罪。在安防與防災(zāi)領(lǐng)域，通過大數(shù)據(jù)的挖掘，可以及時(shí)發(fā)現(xiàn)人為或自然災(zāi)害、恐怖事件，提高應(yīng)急處理能力和安全防范能力。

另外，作為國家的管理者，政府應(yīng)該有勇氣將手中的數(shù)據(jù)逐步開放，供給更多有能力的機(jī)構(gòu)組織或個(gè)人來分析并加以利用，以加速造福人類。比如，美國政府就籌建了一個(gè)data.gov網(wǎng)站，這是奧巴馬任期內(nèi)的一個(gè)重要舉措：要求政府公開透明，而核心就是實(shí)現(xiàn)政府機(jī)構(gòu)的數(shù)據(jù)公開。截止目前，已經(jīng)開放了有91054 個(gè)datasets;349citizen-developed apps;137 mobile apps;175 agencies and subagencies;87 galleries;295 Government APIs。

企業(yè)的大數(shù)據(jù)

企業(yè)的CXO們最關(guān)注的還是報(bào)表曲線的背后能有怎樣的信息，他該做怎樣的決策，其實(shí)這一切都需要通過數(shù)據(jù)來傳遞和支撐。在理想的世界中，大數(shù)據(jù)是巨大的杠桿，可以改變公司的影響力，帶來競(jìng)爭(zhēng)差異、節(jié)省金錢、增加利潤、愉悅買家、獎(jiǎng)賞忠誠用戶、將潛在客戶轉(zhuǎn)化為客戶、增加吸引力、打敗競(jìng)爭(zhēng)對(duì)手、開拓用戶群并創(chuàng)造市場(chǎng)。

那么，哪些傳統(tǒng)企業(yè)最需要大數(shù)據(jù)服務(wù)呢?拋磚引玉，先舉幾個(gè)例子：1) 對(duì)大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)(精準(zhǔn)營銷);2) 做小而美模式的中長(zhǎng)尾企業(yè)(服務(wù)轉(zhuǎn)型);3) 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)(生死存亡)。

對(duì)于企業(yè)的大數(shù)據(jù)，還有一種預(yù)測(cè)：隨著數(shù)據(jù)逐漸成為企業(yè)的一種資產(chǎn)，數(shù)據(jù)產(chǎn)業(yè)會(huì)向傳統(tǒng)企業(yè)的供應(yīng)鏈模式發(fā)展，最終形成“數(shù)據(jù)供應(yīng)鏈”。這里尤其有兩個(gè)明顯的現(xiàn)象：1) 外部數(shù)據(jù)的重要性日益超過內(nèi)部數(shù)據(jù)。在互聯(lián)互通的互聯(lián)網(wǎng)時(shí)代，單一企業(yè)的內(nèi)部數(shù)據(jù)與整個(gè)互聯(lián)網(wǎng)數(shù)據(jù)比較起來只是滄海一粟;2) 能提供包括數(shù)據(jù)供應(yīng)、數(shù)據(jù)整合與加工、數(shù)據(jù)應(yīng)用等多環(huán)節(jié)服務(wù)的公司會(huì)有明顯的綜合競(jìng)爭(zhēng)優(yōu)勢(shì)。

對(duì)于提供大數(shù)據(jù)服務(wù)的企業(yè)來說，他們等待的是合作機(jī)會(huì)，就像微軟史密斯說的：“給我提供一些數(shù)據(jù)，我就能做一些改變。如果給我提供所有數(shù)據(jù)，我就能拯救世界?！?/span>

然而，一直做企業(yè)服務(wù)的巨頭將優(yōu)勢(shì)不在，不得不眼看新興互聯(lián)網(wǎng)企業(yè)加入戰(zhàn)局，開啟殘酷競(jìng)爭(zhēng)模式。為何會(huì)出現(xiàn)這種局面?從 IT 產(chǎn)業(yè)的發(fā)展來看，第一代 IT 巨頭大多是 ToB 的，比如 IBM、Microsoft、Oracle、SAP、HP這類傳統(tǒng) IT 企業(yè);第二代 IT 巨頭大多是ToC 的，比如 Yahoo、Google、Amazon、Facebook 這類互聯(lián)網(wǎng)企業(yè)。大數(shù)據(jù)到來前，這兩類公司彼此之間基本是井水不犯河水;但在當(dāng)前這個(gè)大數(shù)據(jù)時(shí)代，這兩類公司已經(jīng)開始直接競(jìng)爭(zhēng)。比如 Amazon 已經(jīng)開始提供云模式的數(shù)據(jù)倉庫服務(wù)，直接搶占 IBM、Oracle 的市場(chǎng)。這個(gè)現(xiàn)象出現(xiàn)的本質(zhì)原因是：在互聯(lián)網(wǎng)巨頭的帶動(dòng)下，傳統(tǒng) IT 巨頭的客戶普遍開始從事電子商務(wù)業(yè)務(wù)，正是由于客戶進(jìn)入了互聯(lián)網(wǎng)，所以傳統(tǒng) IT 巨頭們不情愿地被拖入了互聯(lián)網(wǎng)領(lǐng)域。如果他們不進(jìn)入互聯(lián)網(wǎng)，他們業(yè)務(wù)必將萎縮。在進(jìn)入互聯(lián)網(wǎng)后，他們又必須將云技術(shù)，大數(shù)據(jù)等互聯(lián)網(wǎng)最具有優(yōu)勢(shì)的技術(shù)通過封裝打造成自己的產(chǎn)品再提供給企業(yè)。

以IBM舉例，上一個(gè)十年，他們拋棄了PC，成功轉(zhuǎn)向了軟件和服務(wù)，而這次將遠(yuǎn)離服務(wù)與咨詢，更多地專注于因大數(shù)據(jù)分析軟件而帶來的全新業(yè)務(wù)增長(zhǎng)點(diǎn)。IBM執(zhí)行總裁羅睿蘭認(rèn)為，“數(shù)據(jù)將成為一切行業(yè)當(dāng)中決定勝負(fù)的根本因素，最終數(shù)據(jù)將成為人類至關(guān)重要的自然資源?！盜BM積極的提出了“大數(shù)據(jù)平臺(tái)”架構(gòu)。該平臺(tái)的四大核心能力包括Hadoop系統(tǒng)、流計(jì)算(StreamComputing)、數(shù)據(jù)倉庫(Data Warehouse)和信息整合與治理(Information Integration and Governance)

IBM大數(shù)據(jù)

另外一家亟待通過云和大數(shù)據(jù)戰(zhàn)略而復(fù)蘇的巨頭公司HP也推出了自己的產(chǎn)品：HAVEn，一個(gè)可以自由擴(kuò)展伸縮的大數(shù)據(jù)解決方案。這個(gè)解決方案由HP Autonomy、HP Vertica、HP ArcSight 和惠普運(yùn)營管理(HP OperationsManagement)四大技術(shù)組成。還支持Hadoop這樣通用的技術(shù)。HAVEn不是一個(gè)軟件平臺(tái)，而是一個(gè)生態(tài)環(huán)境。四大組成部分滿足不同的應(yīng)用場(chǎng)景需要，Autonomy解決音視頻識(shí)別的重要解決方案;Vertica解決數(shù)據(jù)處理的速度和效率的方案;ArcSight解決機(jī)器的記錄信息處理，幫助企業(yè)獲得更高安全級(jí)別的管理;運(yùn)營管理解決的不僅僅是外部數(shù)據(jù)的處理，而是包括了IT基礎(chǔ)設(shè)施產(chǎn)生的數(shù)據(jù)。

個(gè)人的大數(shù)據(jù)

個(gè)人的大數(shù)據(jù)這個(gè)概念很少有人提及，簡(jiǎn)單來說，就是與個(gè)人相關(guān)聯(lián)的各種有價(jià)值數(shù)據(jù)信息被有效采集后，可由本人授權(quán)提供第三方進(jìn)行處理和使用，并獲得第三方提供的數(shù)據(jù)服務(wù)。

舉個(gè)例子來說明會(huì)更清晰一些：

未來，每個(gè)用戶可以在互聯(lián)網(wǎng)上注冊(cè)個(gè)人的數(shù)據(jù)中心，以存儲(chǔ)個(gè)人的大數(shù)據(jù)信息。用戶可確定哪些個(gè)人數(shù)據(jù)可被采集，并通過可穿戴設(shè)備或植入芯片等感知技術(shù)來采集捕獲個(gè)人的大數(shù)據(jù)，比如，牙齒監(jiān)控?cái)?shù)據(jù)，心率數(shù)據(jù)，體溫?cái)?shù)據(jù)，視力數(shù)據(jù)，記憶能力，地理位置信息，社會(huì)關(guān)系數(shù)據(jù)，運(yùn)動(dòng)數(shù)據(jù)，飲食數(shù)據(jù)，購物數(shù)據(jù)等等。用戶可以將其中的牙齒監(jiān)測(cè)數(shù)據(jù)授權(quán)給XX牙科診所使用，由他們監(jiān)控和使用這些數(shù)據(jù)，進(jìn)而為用戶制定有效的牙齒防治和維護(hù)計(jì)劃;也可以將個(gè)人的運(yùn)動(dòng)數(shù)據(jù)授權(quán)提供給某運(yùn)動(dòng)健身機(jī)構(gòu)，由他們監(jiān)測(cè)自己的身體運(yùn)動(dòng)機(jī)能，并有針對(duì)的制定和調(diào)整個(gè)人的運(yùn)動(dòng)計(jì)劃;還可以將個(gè)人的消費(fèi)數(shù)據(jù)授權(quán)給金融理財(cái)機(jī)構(gòu)，由他們幫你制定合理的理財(cái)計(jì)劃并對(duì)收益進(jìn)行預(yù)測(cè)。當(dāng)然，其中有一部分個(gè)人數(shù)據(jù)是無需個(gè)人授權(quán)即可提供給國家相關(guān)部門進(jìn)行實(shí)時(shí)監(jiān)控的，比如罪案預(yù)防監(jiān)控中心可以實(shí)時(shí)的監(jiān)控本地區(qū)每個(gè)人的情緒和心理狀態(tài)，以預(yù)防自殺和犯罪的發(fā)生。

以個(gè)人為中心的大數(shù)據(jù)有這么一些特性：

數(shù)據(jù)僅留存在個(gè)人中心，其它第三方機(jī)構(gòu)只被授權(quán)使用(數(shù)據(jù)有一定的使用期限)，且必須接受用后即焚的監(jiān)管。

采集個(gè)人數(shù)據(jù)應(yīng)該明確分類，除了國家立法明確要求接受監(jiān)控的數(shù)據(jù)外，其它類型數(shù)據(jù)都由用戶自己決定是否被采集。

數(shù)據(jù)的使用將只能由用戶進(jìn)行授權(quán)，數(shù)據(jù)中心可幫助監(jiān)控個(gè)人數(shù)據(jù)的整個(gè)生命周期。

展望過于美好，也許實(shí)現(xiàn)個(gè)人數(shù)據(jù)中心將遙遙無期，也許這還不是解決個(gè)人數(shù)據(jù)隱私的最好方法，也許業(yè)界對(duì)大數(shù)據(jù)的無限渴求會(huì)阻止數(shù)據(jù)個(gè)人中心的實(shí)現(xiàn)，但是隨著數(shù)據(jù)越來越多，在缺乏監(jiān)管之后，必然會(huì)有一場(chǎng)激烈的博弈：到底是數(shù)據(jù)重要還是隱私重要;是以商業(yè)為中心還是以個(gè)人為中心。