當我們談?wù)摯髷?shù)據(jù) 是在談什么

大數(shù)據(jù)的出現(xiàn)顛覆了我們既有的一些觀念。比如，過去衡量是不是金融中心，主要看全球有多少家金融機構(gòu)入駐。但是未來，金融中心就是有多少金融的數(shù)據(jù)資源在這里流通。如果將來在華爾街買股票的時候，要看一下上海的數(shù)據(jù)發(fā)布才能決策，到那個時候，上海就離全球金融中心不遠了

當前，“土地財政”已經(jīng)難以為繼，但“盤活政府數(shù)據(jù)資源，建立數(shù)據(jù)財政”的時機可能已經(jīng)到來。和土地不同，數(shù)據(jù)不會越用越少，并且數(shù)據(jù)本身會日益增加，因此盤活數(shù)據(jù)資源，建立“數(shù)據(jù)財政”，可能是政府數(shù)據(jù)資源開發(fā)利用的有效手段 思想者小傳 朱揚勇 復旦大學計算機科學技術(shù)學院教授、學術(shù)委員會主任，上海市數(shù)據(jù)科學重點實驗室主任，上海市政府信息化專家委員會專家，中國計算機學會大數(shù)據(jù)專家委員會專家，美國馬里蘭大學客座教授。從事數(shù)據(jù)領(lǐng)域研究25年，是國內(nèi)最早一批從事"數(shù)據(jù)分析師"數(shù)據(jù)挖掘研究的學者，是國際數(shù)據(jù)科學研究的主要倡導者之一。主持過國家自然科學基金、國家863計劃項目、上海市科委重點課題等多項數(shù)據(jù)挖掘領(lǐng)域的研究課題，曾獲上海市科技進步一、二、三等獎。在國內(nèi)外權(quán)威期刊或會議上發(fā)表論文100余篇，出版專著2本，教材3本。第462次香山科學會議“數(shù)據(jù)科學與大數(shù)據(jù)的理論問題探索”的執(zhí)行主席，并擔任《大數(shù)據(jù)技術(shù)與應用叢書》主編。 

三年前，很多人不知道大數(shù)據(jù)是何物。當時我在某地作一個關(guān)于大數(shù)據(jù)的報告，臺下一片茫然，有人發(fā)問，“大數(shù)據(jù)是什么東西”。但是到了今天，我相信大家對這個詞已經(jīng)再熟悉不過了，甚至有些人已經(jīng)開始了冷思考，認為大數(shù)據(jù)不是萬能的，質(zhì)疑它的有效性。 毫無疑問，大數(shù)據(jù)已經(jīng)滲透到我們的生活。比如，社交網(wǎng)絡(luò)成為IT領(lǐng)域研究的方向，很多研究生、博士生寫的論文就是社交網(wǎng)絡(luò)分析。按理說，這個是社會學研究的一個方向，但是現(xiàn)在只是從IT角度加以分析。 再比如，中國最出名的作家是誰？一般老百姓感覺是金庸。但是如果用大數(shù)據(jù)分析，就會發(fā)現(xiàn)，最出名的作家是魯迅，因為他排在最高出現(xiàn)的詞頻上。 大數(shù)據(jù)的出現(xiàn)，也改變了我們傳統(tǒng)的研究方法。

比如，國家要做一個重大課題，要求調(diào)查1萬戶居民家庭收入支出的情況，以衡量現(xiàn)在居民的生活水平和幸福指數(shù)。用傳統(tǒng)的方法做這樣一個課題，大概需要培養(yǎng)200名調(diào)查員，到居民家中去調(diào)查。每次大概是2個人一組，每組大概要調(diào)查100戶?？梢栽囅胍幌?，調(diào)查100個家庭大概需要一年的時間，因為是遍布全國的，有西藏的或者是新疆喀什地區(qū)某個村里面的一戶人家。而每一次調(diào)查，還要支付調(diào)查員工資、差旅費等費用，這樣一年下來成本估計在5000萬元左右。問題是，調(diào)查的可信度并不能得到充分保證，因為你去別人家里問他的收入，一般人都不大愿意講。即便得到回答，要將這么多數(shù)據(jù)整理出來，又要費一番工夫。 但是，今天我們有了網(wǎng)絡(luò)的集合運用，尤其是互聯(lián)網(wǎng)運用，原有的方式就有了改變。發(fā)調(diào)查問卷得到回饋再做分析，是我們現(xiàn)在早已駕輕就熟的方式。

未來還可以怎么做？希望今天的講座結(jié)束后，大家能找到答案。 數(shù)據(jù)和信息是一回事嗎 講大數(shù)據(jù)之前，我們先來說一下信息。之前，我們把知識和獲得的概念叫做信息。信息產(chǎn)業(yè)、信息技術(shù)、信息化，都是由此而來的。那么，信息與大數(shù)據(jù)是一回事嗎？這可能是第一個容易引起混淆和困惑的地方。 比如，我電腦里存了很多東西，如果你看得懂，你就獲得了信息，反之，你就沒有獲得信息。而在電腦里的這些東西就是數(shù)據(jù)。 數(shù)據(jù)有很多，但是信息可能不一定多，或者說你從一大堆的數(shù)據(jù)當中要獲得的信息可能并不多。比如，現(xiàn)在外面溫度是19攝氏度，當我把這個數(shù)據(jù)拍照片給你看的時候，你可能感覺不到外面多少度。那么對你而言，你獲得不了這個信息，這個就只是數(shù)據(jù)。

數(shù)據(jù)在我電腦里，你看懂了才能獲得信息，這是我第一個想要說的觀點。 那么，我們經(jīng)?？吹降臄?shù)據(jù)、信息、知識，三者之間有什么關(guān)系？怎么定義？早期關(guān)于數(shù)據(jù)的概念就是數(shù)字。到了今天，數(shù)據(jù)不再只是指數(shù)字，而是指整個網(wǎng)絡(luò)空間里的東西，包括照片、聲音、圖像、文字等，只要放在電子化設(shè)備里的東西，都可以叫數(shù)據(jù)。比如，你看到這樣一段話“銀行流動性緊張”，如果你看懂了，你就獲得了信息，并會采取相應措施去應對。這是一個從數(shù)據(jù)到獲得信息以及到用知識做決定的過程。簡單來說，從范疇而言，數(shù)據(jù)大于信息，信息大于知識。

 大數(shù)據(jù)究竟是什么 大數(shù)據(jù)一詞最早于1997年出現(xiàn)在邁克爾·考克斯的論文中。2008年，著名刊物NATURE出版了一個大數(shù)據(jù)?？?，引起了學術(shù)界的高度重視。2012年3月29日美國政府發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，引起了各國政府和產(chǎn)業(yè)界的關(guān)注。 關(guān)于大數(shù)據(jù)的定義，存在不少爭論。從根本上說，大數(shù)據(jù)是指為決策問題提供服務(wù)的大數(shù)據(jù)集、大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應用的總稱。其中，大數(shù)據(jù)集是指一個決策問題所用到的所有可能的數(shù)據(jù)，通常數(shù)據(jù)量巨大、來源多樣、類型多樣；大數(shù)據(jù)技術(shù)是指大數(shù)據(jù)資源獲取、存儲管理、挖掘分析、可視展現(xiàn)等技術(shù)；大數(shù)據(jù)應用是指用大數(shù)據(jù)集和大數(shù)據(jù)技術(shù)來支持決策活動，是新的決策方法。 所有人都是數(shù)據(jù)的擁有者，做數(shù)據(jù)的可能主要是IT工作者。

但是，數(shù)據(jù)的價值在于應用。正如同，我們不需要做手機，不需要做軟件，但是這些連起來以后數(shù)據(jù)成了價值，用技術(shù)能把價值找出來，最后把它用好就實現(xiàn)了這個價值。 隨著數(shù)據(jù)的增長，整個人類的能力在提高。 比如，從衛(wèi)星圖看地球，長期觀測下來，有科學家就發(fā)現(xiàn)地球的南極跟北極白色的區(qū)域逐年在減少。白色區(qū)域減少，意味著冰山雪正在融化消失，這就是全球變暖現(xiàn)象。 又如，疾病的早期診斷。每年死亡于癌癥人數(shù)的有200多萬，如果癌癥能夠在早期進行診斷，能夠早期發(fā)現(xiàn)，那么對人的生命的延長是非常有幫助的。疾病的早期診斷方式，就是通過你的病史、你的生活習慣、你的工作環(huán)境，再加上當前的檢驗值，來評估你患癌的風險有多高。

 說得更近一點，現(xiàn)在智能手機普及率很高，出行的時候有導航系統(tǒng)，買東西的時候有移動支付，所有的這些系統(tǒng)在后臺有一個我們稱之為智慧引擎的東西，這個東西存儲了大量的數(shù)據(jù)以及大量數(shù)據(jù)分析的軟件，通過各種各樣智能化的軟件推送到終端，才會有我們今天享受到的各種各樣的智能服務(wù)。 大數(shù)據(jù)的出現(xiàn)顛覆了我們既有的一些觀念。比如，過去衡量是不是金融中心，主要看全球有多少家金融機構(gòu)入駐。但是未來，金融中心就是有多少金融的數(shù)據(jù)資源在這里流通。也就是說，如果將來在華爾街買股票的時候，要看一下上海的數(shù)據(jù)發(fā)布才能決策，到那個時候，上海就離全球金融中心不遠了。 數(shù)據(jù)是最重要的資源 數(shù)據(jù)不斷增長，被大量積累以后就形成了數(shù)據(jù)資源。數(shù)據(jù)是本世紀最重要的資源，李克強總理說它是基礎(chǔ)資源，我想這個定位非常準確。以前我們只關(guān)注石油、煤炭之類的天然資源，沒有關(guān)注數(shù)據(jù)資源。 數(shù)據(jù)能力是國家競爭力。美國、英國、日本等國相繼推出大數(shù)據(jù)戰(zhàn)略，以提升政府效能。在我國，黨的十八屆五中全會提出要實施網(wǎng)絡(luò)強國戰(zhàn)略，實施“互聯(lián)網(wǎng)+”行動計劃，發(fā)展分享經(jīng)濟，實施國家大數(shù)據(jù)戰(zhàn)略?！笆濉币?guī)劃建議首次提出“拓展網(wǎng)絡(luò)經(jīng)濟空間”。

日前，國務(wù)院常務(wù)會議通過了《關(guān)于促進大數(shù)據(jù)發(fā)展的行動綱要》，強調(diào)開發(fā)應用好大數(shù)據(jù)這一基礎(chǔ)性戰(zhàn)略資源，推動公共數(shù)據(jù)資源開放共享，將大數(shù)據(jù)打造成新常態(tài)下經(jīng)濟提質(zhì)增效升級的新動能。

可以預見，大數(shù)據(jù)將創(chuàng)造下一代互聯(lián)網(wǎng)生態(tài)、下一代創(chuàng)新體系、下一代制造業(yè)形態(tài)以及下一代社會治理結(jié)構(gòu)。 我們講大數(shù)據(jù)，實際上是在講兩件事。 第一個是用數(shù)據(jù)解決問題。小到去哪里旅游，大到國家全面二孩政策的放開，都可以用數(shù)據(jù)。 第二個是解決數(shù)據(jù)的問題。比如，數(shù)據(jù)多了以后怎么存放。大數(shù)據(jù)就是一個大海撈針的過程，怎么算、怎么運、怎么存，這些都是問題。 今天，數(shù)據(jù)的組織形式和以前相比，發(fā)生了巨大的變化。比如，有人發(fā)給我一個郵件，我就知道要做一個報告，再發(fā)一個郵件，我就知道這個報告有100個人來聽。但是如果我在朋友圈里發(fā)一條微信，這就連成了一個圈，延伸到了整個社會。最終來聽報告的是什么樣的人，我并不清楚。由此可見，數(shù)據(jù)的增長、流通、流向是不可控的。 如果把所有網(wǎng)絡(luò)空間里的數(shù)據(jù)加起來，那就形成了數(shù)據(jù)界。它呈現(xiàn)出自然界的特征，即不可控性、未知性、多樣性、復雜性。而如何開發(fā)和應用數(shù)據(jù)資源，成為擺在我們面前的最大問題。

 數(shù)據(jù)還有可能產(chǎn)生新的文明形態(tài)?？茖W家在2011年做了一張各國網(wǎng)絡(luò)流量圖，顯示一種新的文明方式很快就要出現(xiàn)。我們講的古老文明就是河流的文明，接下來是海洋文明。因為水是人類進步所必需的，人不能沒有水，我們稱之為“藍色文明”。但是今天網(wǎng)絡(luò)是人類進步的必需品，你沒有網(wǎng)絡(luò)談不上進步，網(wǎng)絡(luò)的流向、大小、流量的內(nèi)容以及流量變化的規(guī)律，決定了網(wǎng)絡(luò)文明的興起和消亡。網(wǎng)絡(luò)流量往哪里去，哪里的文明就會發(fā)達。在網(wǎng)絡(luò)文明當中也會有一些發(fā)達地區(qū)，這些地區(qū)往往存在發(fā)達的結(jié)點，數(shù)據(jù)集中于這個點，這個結(jié)點上會產(chǎn)生數(shù)據(jù)效應，數(shù)據(jù)越多這個網(wǎng)站提供的服務(wù)越好，服務(wù)越好數(shù)據(jù)就會越多，所以會形成一個良性的發(fā)展。

 數(shù)據(jù)科學家(數(shù)據(jù)分析師)將成熱門職業(yè) 大數(shù)據(jù)來了以后，給我們各行各業(yè)帶來革命性的變化，同時也出現(xiàn)了一個新的學科或者是新的科學，叫做數(shù)據(jù)科學。數(shù)據(jù)科學，顧名思義就是研究數(shù)據(jù)的科學或關(guān)于數(shù)據(jù)的科學，它是研究探索網(wǎng)絡(luò)空間中數(shù)據(jù)界現(xiàn)象和本質(zhì)的理論、方法和技術(shù)，主要有兩個內(nèi)涵： 一是科學研究的數(shù)據(jù)方法（不同于實驗方法、理論方法、計算方法）。這是指數(shù)據(jù)科學為傳統(tǒng)科學研究提供了方法，其目的在于揭示自然界和人類行為的現(xiàn)象和規(guī)律。我們可以利用網(wǎng)絡(luò)空間中的數(shù)據(jù)指導科學研究，或者提高各種科學研究領(lǐng)域的效率和效果，例如生物信息學。從這個內(nèi)涵上看，科學研究方法需要進一步發(fā)展，包括數(shù)據(jù)工具的利用、科學數(shù)據(jù)存儲和共享技術(shù)、科學研究的數(shù)據(jù)方法論，等等。 第二個是研究數(shù)據(jù)本身。這是指數(shù)據(jù)科學研究數(shù)據(jù)自身的現(xiàn)象和規(guī)律，包括數(shù)據(jù)的歷史、進化和遷移，數(shù)據(jù)網(wǎng)絡(luò)的形成和發(fā)展，數(shù)據(jù)的各種形式、類型、狀態(tài)、屬性及其變化形式和變化規(guī)律等，即認識數(shù)據(jù)、掌握數(shù)據(jù)。 我認為在將來，數(shù)據(jù)科學、自然科學是并列的。

 早先的天文學，坐井觀天是很重要的。今天的天文學家再也不看天，他們坐在電腦前看圖像，進行數(shù)據(jù)分析。所以今天我們講認識宇宙、認識生命、認識社會都要先認識數(shù)據(jù)，要先讀懂這個社會的數(shù)據(jù)才能讀懂現(xiàn)象。就此而言，數(shù)據(jù)科學跨越了所有的學科。 大數(shù)據(jù)時代，最熱門的職業(yè)是數(shù)據(jù)科學家，而不是傳統(tǒng)的信息科學家，也不是大數(shù)據(jù)工程師。麥肯錫公司預測，到2018年，僅在美國本土就可能面臨缺乏19萬名具備深入分析數(shù)據(jù)能力人才的情況，同時具備通過分析大數(shù)據(jù)并為企業(yè)作出有效決策的數(shù)據(jù)的管理人員和分析師也有150萬人的缺口。 

目前，被稱為數(shù)據(jù)科學家的大致有三類人：從事商業(yè)數(shù)據(jù)分析的人、從事科學數(shù)據(jù)分析的人、研究數(shù)據(jù)的人。但在解決一個大數(shù)據(jù)分析問題時，常常是由來自數(shù)學與統(tǒng)計、計算機和業(yè)務(wù)領(lǐng)域的一個數(shù)據(jù)科學家團隊來完成的。這說明，目前在大學沒有什么專業(yè)具備了數(shù)據(jù)科學家所需要的全部知識，這是一個新問題。 2010年起，各國大學開始了數(shù)據(jù)科學人才培養(yǎng)工作。哥倫比亞大學從2011年起開設(shè)《數(shù)據(jù)科學導論》 課程，并從2014年起設(shè)立碩士學位，2015年起設(shè)立博士學位； 復旦大學從2010年開始招收數(shù)據(jù)科學博士研究生，并從2013年起開設(shè)研究生課程《數(shù)據(jù)科學》，2015年開始正式招收數(shù)據(jù)科學專業(yè)研究生以及本科第二專業(yè)學位。2015年10月，復旦大學大數(shù)據(jù)學院、大數(shù)據(jù)研究院正式成立。清華大學于2014年成立數(shù)據(jù)科學研究院，推出大數(shù)據(jù)碩士項目。 盡管國內(nèi)大數(shù)據(jù)人才的培養(yǎng)已經(jīng)起步，但值得注意的是，當前缺乏數(shù)據(jù)科學家培養(yǎng)的基礎(chǔ)條件，主要包括：計算條件——建設(shè)數(shù)據(jù)科學人才培養(yǎng)所需的計算能力，包括軟硬件環(huán)境； 數(shù)據(jù)條件——數(shù)據(jù)是資源，也是數(shù)據(jù)科學人才培養(yǎng)的核心，需要建設(shè)豐富的數(shù)據(jù)資源環(huán)境；師資條件——這是目前相當缺乏的數(shù)據(jù)科學人才培養(yǎng)資源，也是影響未來數(shù)據(jù)科學人才培養(yǎng)成果的關(guān)鍵。 如何用數(shù)據(jù)資源去賺錢 數(shù)據(jù)產(chǎn)業(yè)是網(wǎng)絡(luò)空間中數(shù)據(jù)資源開發(fā)利用形成的產(chǎn)業(yè)。

信息化是生產(chǎn)數(shù)據(jù)，大數(shù)據(jù)是開發(fā)數(shù)據(jù)，所以兩者的方向性是不一樣的。 很難用傳統(tǒng)產(chǎn)業(yè)劃分來歸類數(shù)據(jù)產(chǎn)業(yè)。首先它是數(shù)據(jù)資源，它具有資源性。然后，數(shù)據(jù)要加工，屬于加工業(yè)。它也具有服務(wù)性，所以又是第三產(chǎn)業(yè)。就此而言，數(shù)據(jù)是新產(chǎn)業(yè)、新業(yè)態(tài)、新模式、新技術(shù)，是新經(jīng)濟的典型代表。 所謂新的業(yè)態(tài)產(chǎn)業(yè)，我們叫基于大數(shù)據(jù)的產(chǎn)業(yè)整合。具體來說，手機、電視是終端，終端是低價甚至是免費，上面有很多的應用。然后整合終端制造商、網(wǎng)絡(luò)、電信、IT等，提供一個新的服務(wù)業(yè)態(tài)，這個就叫做基于大數(shù)據(jù)的產(chǎn)業(yè)整合。它怎么賺錢呢？靠它的數(shù)據(jù)資源賺錢。大家可以回顧一下什么叫做“眼球經(jīng)濟”，就是我開一個網(wǎng)站，有多少人看我的網(wǎng)站，那么我就值多少錢。

身處移動時代，你不僅要看這個東西，還要用這個東西，那么就需要有一個很大的客戶群體在這個平臺上，而你則一定要提供低價甚至是免費的服務(wù)，你用這個數(shù)據(jù)資源去賺錢。中關(guān)村有一句話叫做“羊毛出在狗身上，豬買單”。就是說，你的主業(yè)要低價，甚至是免費。那么怎么賺錢呢？就要找“豬”。把“豬”找到，叫“豬”來買單，現(xiàn)在最大的“豬”就是硅谷和華爾街的VC（風險投資）。“飛豬”時代，重要的是找到那頭“豬”。 信息化是生產(chǎn)數(shù)據(jù)的，大數(shù)據(jù)是開發(fā)數(shù)據(jù)的，二者不混淆、不對立。十八屆五中全會公報提出“實施國家大數(shù)據(jù)戰(zhàn)略”，數(shù)據(jù)資源開發(fā)利用將成為未來若干年的戰(zhàn)略新興產(chǎn)業(yè)——數(shù)據(jù)產(chǎn)業(yè)。這里需要注意的是，數(shù)據(jù)資源不會因為使用而減少，也不會因為不用而增值。因此，不能按照對待煤炭、石油等天然資源的方式來對待數(shù)據(jù)資源，而是要盡早、盡快、盡量使用數(shù)據(jù)資源，不要囤積待漲。必須把握大數(shù)據(jù)帶來的戰(zhàn)略機會，提升政府治理能力、實現(xiàn)經(jīng)濟轉(zhuǎn)型升級。 

當前，推進政府數(shù)據(jù)資源開發(fā)利用的一個主要障礙是“數(shù)據(jù)不愿意開放共享”，其本質(zhì)是利益分配的問題。數(shù)據(jù)收集、管理和維護是有成本的，數(shù)據(jù)開放也是有成本的。因此，需要理性看待“數(shù)據(jù)不愿意開放共享”問題，允許數(shù)據(jù)資源擁有部門在數(shù)據(jù)開放共享過程中獲得一定的利益。近20年來，政府通過盤活土地資源，實現(xiàn)了經(jīng)濟高速發(fā)展，城市現(xiàn)代化進程得以加快。雖然“土地財政”被人詬病，但不能否認“土地財政”在這些年經(jīng)濟發(fā)展中的貢獻。當前，“土地財政”已經(jīng)難以為繼，但“盤活政府數(shù)據(jù)資源，建立數(shù)據(jù)財政”的時機可能已經(jīng)到來。和土地不同，數(shù)據(jù)不會越用越少，并且數(shù)據(jù)本身會日益增加，因此盤活數(shù)據(jù)資源，建立“數(shù)據(jù)財政”，可能是政府數(shù)據(jù)資源開發(fā)利用的有效手段。

 國家發(fā)布 《關(guān)于促進大數(shù)據(jù)發(fā)展的行動綱要》，是希望借此提升全民數(shù)據(jù)意識，發(fā)展數(shù)據(jù)文化，釋放數(shù)據(jù)紅利，打造數(shù)據(jù)優(yōu)勢，這是國家的戰(zhàn)略性考慮。要從文化上、意識上、根本上來做，即要用數(shù)據(jù)來說話，用數(shù)據(jù)來管理，用數(shù)據(jù)來決策，用數(shù)據(jù)來創(chuàng)新。整體來講，就是要打破政府數(shù)據(jù)資源利益的割據(jù)，把政府的數(shù)據(jù)資源釋放出來，這對于整個管理創(chuàng)新、政府治理和產(chǎn)業(yè)變革都有大作用。數(shù)據(jù)分析師培訓