大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的國(guó)際經(jīng)驗(yàn)
在隨后的幾年中，大數(shù)據(jù)風(fēng)潮席卷全球，技術(shù)、資本、人才趨之若鶩，大數(shù)據(jù)產(chǎn)業(yè)出現(xiàn)了一波脈沖式的發(fā)展。從全球經(jīng)驗(yàn)來(lái)看，企業(yè)是大數(shù)據(jù)應(yīng)用創(chuàng)新的主要力量，政府為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展提供了巨大支撐，開(kāi)源社區(qū)則為大數(shù)據(jù)技術(shù)進(jìn)步營(yíng)造了廣闊空間。但是，與此
同時(shí)，鼓勵(lì)數(shù)據(jù)價(jià)值發(fā)現(xiàn)之“魚(yú)”和保護(hù)個(gè)人隱私之“熊掌”兩者不可兼得的法規(guī)矛盾變得越來(lái)越突出。
經(jīng)濟(jì)層面
創(chuàng)造價(jià)值是大數(shù)據(jù)應(yīng)用創(chuàng)新的源動(dòng)力
利用大數(shù)據(jù)資源和技術(shù)創(chuàng)造更多價(jià)值，成為企業(yè) 開(kāi)展大數(shù)據(jù)應(yīng)用創(chuàng)新的源動(dòng)力。圍繞既有的資源稟賦和競(jìng)爭(zhēng)優(yōu)勢(shì)，企業(yè)進(jìn)行著各種大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新，探索 出大數(shù)據(jù)背景下適合企業(yè)自身發(fā)展的路徑。
一方面，傳統(tǒng)IT硬件廠商積極向大數(shù)據(jù)基礎(chǔ)設(shè) 施和大數(shù)據(jù)技術(shù)平臺(tái)服務(wù)提供商轉(zhuǎn)型。根據(jù)美國(guó)專
業(yè)分析機(jī)構(gòu)Wikibon發(fā)布的報(bào)告，IBM公司2013年從大數(shù)據(jù)相關(guān)產(chǎn)品及服務(wù)中獲得了13.68
億美元收益。其具體產(chǎn)品包括服務(wù)器與存儲(chǔ)硬件、數(shù)據(jù)庫(kù)軟件、 分析應(yīng)用程序以及相關(guān)服務(wù)，還有 DB2、Informix、 InfoSphere
數(shù)據(jù)庫(kù)平臺(tái)，Cognos 與 SPSS 等大數(shù)據(jù) 分析應(yīng)用類產(chǎn)品?；萜展驹?013年獲得的大數(shù)據(jù)營(yíng)業(yè)收入總值為8.69億美元，它還提供與之相關(guān)
的硬件、軟件以及服務(wù)，其中最為知名的方案當(dāng)數(shù) Vertica 分析平臺(tái)。
另一方面，諸多新型互聯(lián)網(wǎng)企業(yè)成為數(shù)據(jù)資源的集聚方，通過(guò)創(chuàng)新形成大量的數(shù)據(jù)產(chǎn)品服務(wù)于各類應(yīng)
用場(chǎng)景。比如，eBay公司用數(shù)據(jù)驅(qū)動(dòng)商業(yè)，其所有的 數(shù)據(jù)產(chǎn)品都是針對(duì)業(yè)務(wù)而生，數(shù)據(jù)部門(mén)需要對(duì)不斷變
化的用戶需求找到解決之法，也就是從客戶的行為數(shù)據(jù)中尋找更多新價(jià)值。eBay公司針對(duì)賣(mài)家工具提供的 Seller
Hub，可以對(duì)每一位賣(mài)家進(jìn)行深入分析，使賣(mài)家了解哪些商品更暢銷(xiāo)，產(chǎn)品如何標(biāo)價(jià)才能具備競(jìng)爭(zhēng)
優(yōu)勢(shì)等。再比如，Salesforce公司是一家專注于CRM(用戶關(guān)系管理)的公司，通過(guò)對(duì)用戶數(shù)據(jù)分析挖掘
形成新的價(jià)值，是大數(shù)據(jù)在
精準(zhǔn)營(yíng)銷(xiāo)領(lǐng)域的典型應(yīng)用。 Salesforce公司在2015年的營(yíng)業(yè)收入超過(guò)50億美元。
據(jù)大數(shù)據(jù)行業(yè)分析師估計(jì)，到2020年，Salesforce公司有望成為一家市值達(dá) 1000 億美元的公司。
技術(shù)層面
開(kāi)源社區(qū)是大數(shù)據(jù)技術(shù)進(jìn)步的大生態(tài)
開(kāi)源模式成為大數(shù)據(jù)技術(shù)創(chuàng)新的主要途徑。從大數(shù)據(jù)技術(shù)的發(fā)展歷程上可以看出，大數(shù)據(jù)核心技術(shù)如
分布式存儲(chǔ)、云端分布式及網(wǎng)格計(jì)算均依賴于開(kāi)源模式，即通過(guò)開(kāi)放式的平臺(tái)，吸引全球開(kāi)發(fā)者通過(guò)開(kāi)源社區(qū)進(jìn)行代碼的開(kāi)發(fā)、維護(hù)和完善，從而集全球智慧推動(dòng)大數(shù)據(jù)技術(shù)的不斷進(jìn)步。當(dāng)前，全球各大企業(yè)
加大了對(duì)開(kāi)源社區(qū)的贊助和智力投入，開(kāi)源社區(qū)在大 數(shù)據(jù)技術(shù)進(jìn)步中占據(jù)核心地位。
一方面，由第三方打造的大數(shù)據(jù)技術(shù)開(kāi)源平臺(tái) 發(fā)揮了積極作用。Apache
軟件基金會(huì)(ASF)是推動(dòng)大數(shù)據(jù)技術(shù)發(fā)展的全球頂級(jí)開(kāi)源社區(qū)。ASF 正式創(chuàng)建 于 1999 年，至今已經(jīng)成功孵化了眾多大數(shù)據(jù)相關(guān)的
開(kāi)源項(xiàng)目。ASF 大數(shù)據(jù)開(kāi)源社區(qū)的創(chuàng)建過(guò)程是全球 大數(shù)據(jù)技術(shù)公司的集體智慧。其中，Apache
Hadoop
技術(shù)的發(fā)展就是非常典型的例子。谷歌公司在 2003 年發(fā)布的關(guān)于谷歌文件系統(tǒng)(Google GFS)的論文 和 2004 年發(fā)布的關(guān)于編程模型
MapReduce 的論文是
Hadoop 的技術(shù)雛形。2005 年， 雅虎公司啟動(dòng)了 Nutch 項(xiàng)目，提供了一個(gè)專門(mén)的團(tuán)隊(duì)和資源將
Hadoop 發(fā)展成一個(gè)可在網(wǎng)絡(luò)上運(yùn)行的系統(tǒng)。到 2008 年 1 月，
Hadoop 已成為 Apache
的頂級(jí)項(xiàng)目，并成為大數(shù)據(jù)發(fā)展的技術(shù)標(biāo)準(zhǔn)。
另一方面，大數(shù)據(jù)領(lǐng)先企業(yè)也在圍繞自身生態(tài)
打造技術(shù)開(kāi)源社區(qū)。這些企業(yè)通過(guò)開(kāi)源項(xiàng)目的方式推動(dòng)技術(shù)創(chuàng)新，并將創(chuàng)新成果通過(guò)開(kāi)源方式向全社會(huì)輻射，引導(dǎo)和推動(dòng)大數(shù)據(jù)技術(shù)的發(fā)展，在國(guó)際上逐漸形成了一套高效運(yùn)轉(zhuǎn)的研發(fā)產(chǎn)業(yè)化體系。開(kāi)源提供了一
種高效生產(chǎn)軟件的方法，降低了企業(yè)進(jìn)入大數(shù)據(jù)應(yīng)用服務(wù)市場(chǎng)的壁壘，催生更多技術(shù)和服務(wù)應(yīng)用的創(chuàng)新。比如，F(xiàn)acebook 公司于 2013 年 11
月開(kāi)源了 Presto 技術(shù)，該技術(shù)是新型分布式
SQL 引擎，它能夠?qū)Ω?種大小(從 GB 級(jí)至 PB 級(jí))的數(shù)據(jù)源進(jìn)行交互式的
分析查詢。2015 年，Presto 社區(qū)的代碼提交數(shù)量提 高了48%，而 fork 的數(shù)量則提高了 99%。Airbnb、
Dropbox、Netflix 等各大公司都開(kāi)始使用 Presto 作 為交互式查詢引擎。
Presto 在全球范圍內(nèi)的接受度也在逐步提高，包括來(lái)自日本的社交媒體游戲開(kāi)發(fā)公司 Gree，以及來(lái)自中國(guó)的電子商務(wù)公司京東都在使 用該技術(shù)。
政策層面
政府戰(zhàn)略是推動(dòng)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的重要保障
完善的政策是當(dāng)前大數(shù)據(jù)先行國(guó)家推廣大數(shù)據(jù)應(yīng)用的重要保障。在政府大數(shù)據(jù)戰(zhàn)略部署和政策推動(dòng)下，發(fā)達(dá)國(guó)家的政府部門(mén)、企業(yè)、高校及研究機(jī)構(gòu)都開(kāi)始積極探索大數(shù)據(jù)的應(yīng)用。美國(guó)政府和歐盟成員國(guó)家都對(duì)大數(shù)據(jù)發(fā)展持積極態(tài)度，但具體策略有所不同。
美國(guó)的大數(shù)據(jù)戰(zhàn)略重在“以點(diǎn)帶面”，通過(guò)公布重要部門(mén)的大數(shù)據(jù)項(xiàng)目規(guī)劃，扶持重要領(lǐng)域的大數(shù)據(jù)技術(shù)研發(fā)，帶動(dòng)其他部門(mén)和社會(huì)各界對(duì)大數(shù)據(jù)技術(shù)的研發(fā)投入和推廣應(yīng)用。2009
年，美國(guó)國(guó)家科學(xué)技術(shù)委員會(huì)(NSTC)發(fā)布了《開(kāi)發(fā)數(shù)字?jǐn)?shù)據(jù)的威力》報(bào)告，初步提出了發(fā)展大數(shù)據(jù)的框架、建議和目標(biāo)。2012 年 3
月，奧巴馬政府宣布啟動(dòng)《大數(shù)據(jù)研究和發(fā)展計(jì)劃》，投入 2 億美元進(jìn)行大數(shù)據(jù)相關(guān)技術(shù)的研發(fā)。2013 年 5 月，奧巴馬政府發(fā)布行政命令，加大政府
數(shù)據(jù)開(kāi)放力度，以便更加有效地利用寶貴的公共數(shù)據(jù) 資源。2014 年 5 月，白宮行政辦公室與總統(tǒng)科技顧
問(wèn)委員會(huì)(PGAST)聯(lián)合發(fā)布報(bào)告《大數(shù)據(jù)：抓住機(jī)遇，保護(hù)價(jià)值》，從政策角度分析了大數(shù)據(jù)技術(shù)的發(fā)展對(duì)社會(huì)帶來(lái)的巨大影響。2016 年 5
月，白宮又發(fā)布了《聯(lián)邦大數(shù)據(jù)研發(fā)戰(zhàn)略計(jì)劃》報(bào)告，在已有基礎(chǔ)上提出美國(guó)下一步的大數(shù)據(jù)發(fā)展戰(zhàn)略。通過(guò)一系列的政策措施，美國(guó)大數(shù)據(jù)戰(zhàn)略形成了跨部門(mén)協(xié)同工作的機(jī)制。具體工作由
NSTC下設(shè)的“網(wǎng)絡(luò)與信息技術(shù)研發(fā)計(jì)劃”(NTTRD)分委員會(huì)負(fù)責(zé)，并專門(mén)設(shè)立跨部門(mén)高級(jí)別協(xié)調(diào)工作組，參與部門(mén)多達(dá) 15 個(gè)，2016
年的工作預(yù) 算達(dá)到近 3 億美元。
歐盟則強(qiáng)調(diào)政府“鋪路打基礎(chǔ)”的作用，突出政府在人才培養(yǎng)、基礎(chǔ)設(shè)施建設(shè)、資金扶持、項(xiàng)目規(guī)劃、合作環(huán)境搭建中的基礎(chǔ)保障作用。2012年9月，歐盟進(jìn)一步公布了《釋放歐洲
云計(jì)算服務(wù)潛力》戰(zhàn)略方案，并向歐盟委員會(huì)和歐洲議會(huì)提交了《
云計(jì)算發(fā)展戰(zhàn)略及三大關(guān)鍵行動(dòng)》建議。該戰(zhàn)略計(jì)劃通過(guò)兩年時(shí)間，把歐盟打造成
云計(jì)算服務(wù)的領(lǐng)先經(jīng)濟(jì)體，為
2014—2020年歐盟“云起飛”創(chuàng)造基礎(chǔ)，讓大數(shù)據(jù)技術(shù)革命滲透到經(jīng)濟(jì)社會(huì)的各個(gè)領(lǐng)域。到 2020
年，大數(shù)據(jù)技術(shù)為歐盟創(chuàng)造的GDP將達(dá)到9570 億歐元， 增加就業(yè)人數(shù) 380 萬(wàn)。2015
年以來(lái)，歐盟力推的《數(shù)據(jù)價(jià)值鏈戰(zhàn)略計(jì)劃》旨在用大數(shù)據(jù)改造傳統(tǒng)治理模式，大幅降低公共部門(mén)成本，并促進(jìn)經(jīng)濟(jì)和就業(yè)增長(zhǎng)。這一計(jì)劃的重點(diǎn)是培育一個(gè)連貫的歐洲數(shù)據(jù)生態(tài)系統(tǒng)，促進(jìn)圍繞數(shù)據(jù)的研究和創(chuàng)新工作，采用數(shù)據(jù)服務(wù)
及產(chǎn)品，采取具體行動(dòng)，改善數(shù)據(jù)價(jià)值提取的框架條件，包括基礎(chǔ)能力、基礎(chǔ)設(shè)備、標(biāo)準(zhǔn)以及有利的政策
和法規(guī)環(huán)境。目前，歐盟正在制定一系列重點(diǎn)行動(dòng)計(jì)劃，解決數(shù)據(jù)價(jià)值鏈中與價(jià)值創(chuàng)造相關(guān)的大量交叉問(wèn)題。數(shù)據(jù)價(jià)值鏈戰(zhàn)略計(jì)劃包括開(kāi)放數(shù)據(jù)、
云計(jì)算、高性能計(jì)算和科學(xué)知識(shí)開(kāi)放獲取四大戰(zhàn)略。
法規(guī)層面
隱私保護(hù)是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的難掩之傷
當(dāng)前，各國(guó)對(duì)大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新給予支持的同時(shí)，未能形成明確的監(jiān)管法律來(lái)確定個(gè)人隱私在大數(shù)據(jù)時(shí)代的法律邊界，這造成了大數(shù)據(jù)行業(yè)發(fā)展的法律
監(jiān)管“灰色地帶”。一方面，以數(shù)據(jù)驅(qū)動(dòng)的經(jīng)濟(jì)發(fā)展模式是各國(guó)所向往的新經(jīng)濟(jì)形態(tài)，鼓勵(lì)數(shù)據(jù)開(kāi)放是
“魚(yú)”；另一方面，數(shù)據(jù)價(jià)值挖掘背后是對(duì)個(gè)人隱私權(quán)不同程度的侵犯，呼吁保護(hù)隱私是“熊掌”。但是，
“魚(yú)”和“熊掌”不可兼得。因此，我們經(jīng)?？吹剑鲊?guó)政府在制定和實(shí)施隱私保護(hù)法規(guī)的時(shí)候，往往會(huì) 出現(xiàn)時(shí)緊時(shí)松、左右搖擺的現(xiàn)象。
美國(guó)是非常尊重個(gè)人隱私的國(guó)家，最早提出隱 私權(quán)概念，同時(shí)也是世界上互聯(lián)網(wǎng)絡(luò)技術(shù)最為發(fā)達(dá)的國(guó)家，大力倡導(dǎo)網(wǎng)絡(luò)信息自由。1966
年頒布的《信息自由法案》要求充分實(shí)現(xiàn)信息公開(kāi)和開(kāi)放，讓公民 有足夠的知情權(quán)；1986 年通過(guò)的處理網(wǎng)絡(luò)隱私權(quán)保
護(hù)問(wèn)題的重要法案《聯(lián)邦電子通訊隱私權(quán)法案》強(qiáng)調(diào)對(duì)個(gè)人隱私的保護(hù)。多種法律法規(guī)對(duì)行為主體的適用性會(huì)出現(xiàn)不一致的情況，所以美國(guó)政府砸保護(hù)網(wǎng)絡(luò)隱私方面更偏重于采用行業(yè)自律的模式。在“9
11”事件之后，尤其是“棱鏡門(mén)”事件之后，美國(guó)政府加強(qiáng)了對(duì)網(wǎng)絡(luò)信息的管控，直到大數(shù)據(jù)產(chǎn)業(yè)興起，網(wǎng)絡(luò)數(shù)據(jù)管控才有所放松。隨著以數(shù)據(jù)驅(qū)動(dòng)的新經(jīng)濟(jì)模式的發(fā)展，個(gè)人
數(shù)據(jù)隱私被侵犯的問(wèn)題變得越來(lái)越嚴(yán)重。奧巴馬政府時(shí)期，聯(lián)邦通信委員會(huì)(FCC)頒布了《網(wǎng)絡(luò)用戶個(gè)人隱私保護(hù)法案》，不允許網(wǎng)絡(luò)服務(wù)提供商(ISP)在未經(jīng)用戶同意的情況下買(mǎi)賣(mài)用戶的個(gè)人數(shù)據(jù)信息。但是，2017
年 3 月 28
日，美國(guó)眾議院票決宣布廢除《網(wǎng)絡(luò)用戶個(gè)人隱私保護(hù)法案》。這標(biāo)志著美國(guó)互聯(lián)網(wǎng)政策將發(fā)生急劇變化，政策搖擺現(xiàn)象展現(xiàn)得淋漓盡致。不過(guò)，也有人將此解讀為商業(yè)巨頭的博弈，因?yàn)榇舜温?lián)合決議授權(quán)
ISP 進(jìn)入原來(lái)由谷歌公司 和 Facebook 公司占據(jù)主導(dǎo)地位的在線廣告市場(chǎng)。
歐盟在隱私保護(hù)方面更為保守，傾向于制定和 執(zhí)行較為嚴(yán)格的隱私保護(hù)法規(guī)。 歐盟 1995
年通過(guò)了《
數(shù)據(jù)保護(hù)指令》，為歐盟成員國(guó)立法保護(hù)個(gè)人數(shù)據(jù)設(shè)立了最低標(biāo)準(zhǔn)。其后，2002 年頒布的《隱私與電子通信指令》要求網(wǎng)站告知用戶啟用
Cookie 及如何刪除或作廢 Cookie。2009 年頒布 的《歐洲 Cookie 指令》則要求網(wǎng)站在用戶初始使用時(shí)必須關(guān)閉
Cookie，直到用戶明確同意啟用 Cookie 時(shí)才能 開(kāi)啟此功能。2015 年 12 月，歐盟執(zhí)委會(huì)(European
Commission)通過(guò)了《一般
數(shù)據(jù)保護(hù)條例》(GDPR)，以歐盟法規(guī)的形式確定了對(duì)個(gè)人數(shù)據(jù)的保護(hù)原則和
監(jiān)管方式。值得一提的是，《一般
數(shù)據(jù)保護(hù)條例》還 提出了“被遺忘權(quán)”(Right to Be Forgotten)，
即個(gè)人可以要求搜
索引擎從包含“不相關(guān)”或者“過(guò) 期”個(gè)人信息的結(jié)果里移除鏈接。這種法律拘束性判決現(xiàn)在不僅是歐盟法律的一部分，還延伸到覆蓋各種
類型的個(gè)人數(shù)據(jù)。比如，個(gè)人可以要求 Facebook 公司刪除個(gè)人賬戶以及所有自己的活動(dòng)相關(guān)的數(shù)據(jù)。
縱觀全球大數(shù)據(jù)產(chǎn)業(yè)，當(dāng)前尚處于初級(jí)階段。對(duì)于中國(guó)大數(shù)據(jù)產(chǎn)業(yè)來(lái)說(shuō)，政府的戰(zhàn)略支持和企業(yè)創(chuàng)新能力都已經(jīng)具備，但還沒(méi)有形成成熟的大數(shù)據(jù)技術(shù)開(kāi)源社區(qū)。此外，為了保障大數(shù)據(jù)產(chǎn)業(yè)的有序規(guī)范發(fā)展，相應(yīng)的法律法規(guī)也是必不可少的。
CDA數(shù)據(jù)分析師考試相關(guān)入口一覽（建議收藏）：
? 想報(bào)名CDA認(rèn)證考試，點(diǎn)擊>>>
“CDA報(bào)名”
了解CDA考試詳情；
? 想學(xué)習(xí)CDA考試教材，點(diǎn)擊>>> “CDA教材” 了解CDA考試詳情；
? 想加入CDA考試題庫(kù)，點(diǎn)擊>>> “CDA題庫(kù)” 了解CDA考試詳情；
? 想了解CDA考試含金量，點(diǎn)擊>>> “CDA含金量” 了解CDA考試詳情；
京公網(wǎng)安備 11010802034615號(hào)
經(jīng)營(yíng)許可證編號(hào)：京B2-20210330
