大數(shù)據(jù)時(shí)代 人人都有洞察力_數(shù)據(jù)分析師

對(duì)話人：

英特爾中國研究院首席工程師：吳甘沙/微軟亞太研發(fā)集團(tuán)主席：張亞勤/微軟雷德蒙研究院聯(lián)席院長(zhǎng)：埃里克·霍維茲
 
緊跟著物聯(lián)網(wǎng)、云計(jì)算，大數(shù)據(jù)裹挾著各種版本的概念呼嘯而來，短短時(shí)間內(nèi)引領(lǐng)了新技術(shù)熱點(diǎn)話題的關(guān)注度。
 
大數(shù)據(jù)究竟是什么新玩意？大數(shù)據(jù)真正的魅力體現(xiàn)在哪里？本報(bào)記者約請(qǐng)幾位專家進(jìn)行了對(duì)話。
 
大數(shù)據(jù)有多大
 
記者：對(duì)于大數(shù)據(jù)，有一個(gè)形象的說法：現(xiàn)在即使是一個(gè)孩子，也可以把一個(gè)小小的存儲(chǔ)器放入書包，隨身攜帶TB級(jí)的數(shù)據(jù)去學(xué)校上課，甚至把整個(gè)人類文明背上都不是問題。經(jīng)過大量數(shù)據(jù)的訓(xùn)練和裝備，未來的電子產(chǎn)品或者機(jī)器可以成為“大有裨益的終身數(shù)碼伴侶”：它可以預(yù)測(cè)你是想要一包方便面還是一顆感冒藥，你想去旅游還是選擇最不堵車的路線去看球賽，甚至還能以你的名義飽蘸激情投入工作。大數(shù)據(jù)這個(gè)概念看似從字面就能理解，但確實(shí)以前沒有這么火過。首先我們想知道的是，大數(shù)據(jù)到底有多大？
 
吳甘沙：互聯(lián)網(wǎng)搜索、電子商務(wù)交易平臺(tái)和微博等社交網(wǎng)站產(chǎn)生的各種數(shù)據(jù)內(nèi)容，經(jīng)常被用來證明大數(shù)據(jù)之大。其實(shí)在傳統(tǒng)產(chǎn)業(yè)和我們的生活中，大數(shù)據(jù)也比比皆是。
 
以北京交通為例，北京市的交通智能化分析平臺(tái)，它的數(shù)據(jù)源來自路網(wǎng)攝像頭/傳感器、地面公交、軌道交通、出租車以及省際客運(yùn)、旅游、化危運(yùn)輸、停車、租車等運(yùn)輸行業(yè)等：4萬輛浮動(dòng)車每天產(chǎn)生2000萬條記錄﹔交通卡刷卡記錄每天1900萬條﹔手機(jī)定位數(shù)據(jù)每天1800萬條﹔出租車運(yùn)營(yíng)數(shù)據(jù)每天100萬條﹔高速ETC數(shù)據(jù)每天50萬條……這些，從數(shù)據(jù)體量和速度上也達(dá)到了大數(shù)據(jù)的規(guī)模。
 
發(fā)掘這些形態(tài)各異、快慢不一的數(shù)據(jù)流之間的相關(guān)性，是大數(shù)據(jù)做前人之未做、前人所不能的機(jī)會(huì)。也正是大數(shù)據(jù)最主要的特點(diǎn)。
 
比如，交通狀況與其它領(lǐng)域的數(shù)據(jù)都存在較強(qiáng)的關(guān)聯(lián)性：有研究發(fā)現(xiàn)，可以從供水系統(tǒng)數(shù)據(jù)中發(fā)現(xiàn)晨洗的高峰時(shí)間，加上一個(gè)偏移量，通常是40—45分鐘，就是交通早高峰時(shí)間。同樣可以從電網(wǎng)數(shù)據(jù)中統(tǒng)計(jì)出傍晚辦公樓集中關(guān)燈的時(shí)間，加上偏移量來估計(jì)出晚上的堵車時(shí)點(diǎn)。國外的研究甚至發(fā)現(xiàn)了交通事故率與睡眠質(zhì)量的關(guān)聯(lián)，以及與社交網(wǎng)絡(luò)情感波動(dòng)的相關(guān)性。
 
記者：IT業(yè)界所指的數(shù)據(jù)，誕生不過60多年。而一直到個(gè)人電腦普及前，由于存儲(chǔ)、計(jì)算和分析工具的技術(shù)和成本限制，許多自然界和人類社會(huì)值得記錄的信號(hào)，并未形成數(shù)據(jù)。大數(shù)據(jù)有沒有一個(gè)“門檻”？一些定義準(zhǔn)確嗎？
 
吳甘沙：國際數(shù)據(jù)統(tǒng)計(jì)機(jī)構(gòu)IDC對(duì)全世界每年創(chuàng)建和復(fù)制的信息的體量做了估計(jì)和預(yù)測(cè)：2011年1.8ZB，2012年2.8ZB，按照每?jī)赡攴环乃俣龋?020年達(dá)到40ZB。這個(gè)數(shù)據(jù)怎么算出來的？IDC秘而不宣。1.8ZB什么概念？相當(dāng)于4500億張DVD，或6500萬年的高清視頻，或是1130億臺(tái)裝滿數(shù)據(jù)的iPad。如果把這些iPad覆蓋到足球場(chǎng)，并往上堆疊，高度將達(dá)到10.3公里，比珠穆朗瑪峰還高。思科公司也有一個(gè)類似的預(yù)測(cè)：2016年數(shù)據(jù)移動(dòng)的總量達(dá)到1.3ZB。其實(shí)所有這些數(shù)據(jù)加起來都不如谷歌的前CEO施密特說法有感染力：從人類文明曙光到2003年數(shù)以萬年計(jì)的時(shí)間長(zhǎng)河里人類一共產(chǎn)生了5EB（天知道他怎么算出來的），而到2010年每?jī)商烊祟惥湍墚a(chǎn)生5EB的數(shù)據(jù)。
 
這類數(shù)據(jù)的預(yù)測(cè)，對(duì)于存儲(chǔ)和網(wǎng)絡(luò)企業(yè)的投資者來說，無疑能提升信心，但對(duì)其他人來說沒有太大意義。他們更關(guān)心的是個(gè)體行業(yè)、企業(yè)和個(gè)人數(shù)據(jù)的狀況。
 
美國咨詢公司麥肯錫對(duì)大數(shù)據(jù)的定義就是從個(gè)體數(shù)據(jù)集的大體量入手的：大數(shù)據(jù)是指那些很大的數(shù)據(jù)集，大到傳統(tǒng)的數(shù)據(jù)庫軟件工具已經(jīng)無法采集、存儲(chǔ)、管理和分析。傳統(tǒng)數(shù)據(jù)庫有效工作的數(shù)據(jù)上限一般來說在10—100TB，因此10—100TB通常成為大數(shù)據(jù)的門檻。
 
無獨(dú)有偶，IDC在給大數(shù)據(jù)做定義時(shí)也設(shè)在100TB。其實(shí)這種方法未必科學(xué)，不管怎樣，有一個(gè)簡(jiǎn)單明晰的數(shù)值來指導(dǎo)企業(yè)大數(shù)據(jù)的判斷，總是好事。
 
大數(shù)據(jù)如何誕生
 
記者：大數(shù)據(jù)現(xiàn)在是個(gè)時(shí)髦的詞匯，但和云計(jì)算一樣，似乎很多人還沒有了解大數(shù)據(jù)是什么？或者說，因?yàn)榇髷?shù)據(jù)太熱了，各種各樣的說法都有。從我個(gè)人的理解，大數(shù)據(jù)應(yīng)該是和云計(jì)算一樣，是隨著IT計(jì)算能力、資源和網(wǎng)絡(luò)、服務(wù)器等硬件設(shè)施的發(fā)展自然而然誕生的，它應(yīng)該是被看作一種能力，而不是數(shù)據(jù)本身。
 
埃里克·霍維茲：時(shí)髦詞匯的產(chǎn)生有各種各樣的原因。對(duì)于大數(shù)據(jù)而言，我認(rèn)為是幾個(gè)因素共同導(dǎo)致了這一朗朗上口的詞匯的流行。其中之一是人們?cè)诓煌I(lǐng)域采集到的數(shù)據(jù)量之大，達(dá)到了前所未有的程度，而傳感、存儲(chǔ)和網(wǎng)絡(luò)等計(jì)算機(jī)科學(xué)領(lǐng)域也在不斷前行。人們需要收集大量數(shù)據(jù)，一部分原因在于許多人類活動(dòng)已經(jīng)轉(zhuǎn)向了網(wǎng)絡(luò)，各種交易和事件數(shù)據(jù)的收集變得十分容易，而且能夠?qū)崟r(shí)同步收集。這些活動(dòng)包括電子商務(wù)、通過道路上的傳感器記錄汽車行駛狀況、利用位置數(shù)據(jù)提供智能手機(jī)服務(wù)等。而在醫(yī)療領(lǐng)域，基因組研究的突飛猛進(jìn)和醫(yī)院臨床數(shù)據(jù)捕獲，將越來越多的GB級(jí)乃至TB級(jí)患者數(shù)據(jù)輸送到數(shù)據(jù)庫中。
 
吳甘沙：數(shù)據(jù)總量的增長(zhǎng)主要?dú)w功于非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)，目前普遍被認(rèn)為占到85%以上，而且增速比結(jié)構(gòu)化數(shù)據(jù)快得多，有種說法是快10—50倍。
 
早期的非結(jié)構(gòu)化數(shù)據(jù)，主要是文本，如電子郵件、文檔等。隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展，又?jǐn)U展到網(wǎng)頁、社交媒體、感知數(shù)據(jù)，涵蓋音頻、圖片、視頻、模擬信號(hào)等等，真正詮釋了數(shù)據(jù)的多樣性。但同時(shí)，低信息密度的非結(jié)構(gòu)化數(shù)據(jù)是大數(shù)據(jù)的一大挑戰(zhàn)。
 
從具體內(nèi)容上，大數(shù)據(jù)通常分為四類：科研數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、企業(yè)數(shù)據(jù)、感知數(shù)據(jù)。
 
科研數(shù)據(jù)屬于大數(shù)據(jù)時(shí)代前很久就存在的“史前生物”，可能來自生物工程、天文望遠(yuǎn)鏡或粒子對(duì)撞機(jī)，不一而足。這些數(shù)據(jù)存在于封閉系統(tǒng)中，玩家都是傳統(tǒng)上做高性能計(jì)算的企業(yè)或機(jī)構(gòu)。最著名的是歐洲核子研究中心的大型強(qiáng)子對(duì)撞機(jī)，此機(jī)不撞則已，一撞驚人，工作狀態(tài)下每秒產(chǎn)生PB級(jí)的數(shù)據(jù)。
 
互聯(lián)網(wǎng)大數(shù)據(jù)是目前這個(gè)時(shí)代的主流，尤其社交媒體被認(rèn)為是大數(shù)據(jù)的爆發(fā)點(diǎn)。幾乎所有的大數(shù)據(jù)技術(shù)都起源于互聯(lián)網(wǎng)企業(yè)。所有這些企業(yè)當(dāng)中，做搜索的最大，百度達(dá)到了千PB的規(guī)模，谷歌更大一些。臉譜網(wǎng)、雅虎等都在數(shù)百PB，亞馬遜、阿里巴巴應(yīng)該也同在此列。
 
進(jìn)入移動(dòng)互聯(lián)網(wǎng)時(shí)代后，移動(dòng)平臺(tái)的感知功能和LBS（基于位置的服務(wù)）的普及，使得互聯(lián)網(wǎng)數(shù)據(jù)與感知數(shù)據(jù)產(chǎn)生了重疊。同樣，企業(yè)數(shù)據(jù)和感知數(shù)據(jù)也有重合，如企業(yè)會(huì)部署物聯(lián)網(wǎng)收集感知數(shù)據(jù)。但感知數(shù)據(jù)的體量要大得多，甚至有預(yù)測(cè)感知數(shù)據(jù)的總量在2015年超過社交媒體，并達(dá)到后者的10—20倍。企業(yè)自身的數(shù)據(jù)比起十年前雖然沒有數(shù)量級(jí)的提升，但也得到了有機(jī)的增長(zhǎng)：一方面，內(nèi)部數(shù)據(jù)從結(jié)構(gòu)化數(shù)據(jù)擴(kuò)展到非結(jié)構(gòu)化的數(shù)據(jù)，另一方面，更強(qiáng)調(diào)與新的外部數(shù)據(jù)源如社交媒體數(shù)據(jù)的融合。
 
大數(shù)據(jù)的價(jià)值在于獲得洞察力
 
記者：雖然有多種解讀，但業(yè)界一般認(rèn)為，大數(shù)據(jù)有四個(gè)“V”字開頭的特征：Volume（體量）, Velocity（速度）, Variety（種類），Value（價(jià)值）。這其實(shí)也是大數(shù)據(jù)概念的組成。Volume是指大數(shù)據(jù)巨大的數(shù)據(jù)量與數(shù)據(jù)完整性﹔Velocity可以理解為更快地滿足實(shí)時(shí)性需求﹔Variety則意味著要在海量、種類繁多的數(shù)據(jù)間發(fā)現(xiàn)其內(nèi)在關(guān)聯(lián)﹔Value最重要，它是大數(shù)據(jù)的最終意義——獲得洞察力和價(jià)值。簡(jiǎn)單說，大數(shù)據(jù)4個(gè)V：就是體量大，快速化，類型雜，價(jià)值大。
 
張亞勤：體量容易理解。速度可以理解為更快地滿足實(shí)時(shí)性需求。數(shù)據(jù)的實(shí)時(shí)化需求正越來越清晰。對(duì)普通人而言，開車去吃飯，會(huì)先用移動(dòng)終端中的地圖查詢餐廳的位置，預(yù)計(jì)行車路線的擁堵情況，了解停車場(chǎng)信息甚至是其他用戶對(duì)餐廳的評(píng)論。吃飯時(shí)，會(huì)用手機(jī)拍攝食物的照片，編輯簡(jiǎn)短評(píng)論發(fā)布到微博或者微信上，還可以用LBS應(yīng)用查找在同一間餐廳吃飯的人，看有沒有好友在附近……
 
通過各種有線和無線網(wǎng)絡(luò)，人和人、人和各種機(jī)器、機(jī)器和機(jī)器之間產(chǎn)生無處不在的連接，這些連接不可避免地帶來數(shù)據(jù)交換。而數(shù)據(jù)交換的關(guān)鍵是降低延遲，以近乎實(shí)時(shí)——意味著小于250毫秒的方式呈獻(xiàn)給用戶。
 
類型雜必然促使我們對(duì)海量數(shù)據(jù)進(jìn)行分析、處理和集成，找出原本看來毫無關(guān)系的那些數(shù)據(jù)的關(guān)聯(lián)性，把似乎沒有用的數(shù)據(jù)變成有用的信息，以支持我們做出的判斷，最終形成大數(shù)據(jù)的價(jià)值——獲得洞察力和價(jià)值。
 
大數(shù)據(jù)的崛起，正是在人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等技術(shù)的迅速發(fā)展驅(qū)動(dòng)下，呈現(xiàn)這么一個(gè)過程：將信號(hào)轉(zhuǎn)化為數(shù)據(jù)，將數(shù)據(jù)分析為信息，將信息提煉為知識(shí)，以知識(shí)促成決策和行動(dòng)。所以真正好的大數(shù)據(jù)系統(tǒng)，重要的不是越多越好，其實(shí)越少越好，最終變成一個(gè)決策，這才是最關(guān)鍵的。
 
大數(shù)據(jù)開啟了一個(gè)新的世界，人們的認(rèn)知必須主動(dòng)求變
 
記者：現(xiàn)在看來，有很多大數(shù)據(jù)園區(qū)、聯(lián)盟的出現(xiàn)和成立，但是大數(shù)據(jù)熱似乎還缺少明確的產(chǎn)業(yè)支撐。美國政府投了2億美金支持大數(shù)據(jù)發(fā)展，但這種投入也不是特別大。如您所說，從賺錢機(jī)會(huì)上來看，大數(shù)據(jù)還沒到“滿地是沙子、滿地是金子”的時(shí)候。對(duì)于大數(shù)據(jù)技術(shù)和服務(wù)公司而言，中小互聯(lián)網(wǎng)公司有現(xiàn)成的機(jī)會(huì)，而最大的蛋糕——企業(yè)數(shù)據(jù)和感知數(shù)據(jù)，目前只是聞到香味而已。
 
吳甘沙：不能神化大數(shù)據(jù)是萬靈藥，也不能矮化大數(shù)據(jù)就是包裝舊概念。大數(shù)據(jù)是一種新的數(shù)據(jù)形態(tài)和實(shí)踐，它與當(dāng)前主流的數(shù)據(jù)應(yīng)用實(shí)踐并存，而非取代。而且，它在相當(dāng)長(zhǎng)的時(shí)間內(nèi)仍然是個(gè)新鮮事物，即使IDC在2012年底預(yù)測(cè)，年復(fù)合增長(zhǎng)率高達(dá)32%，到2016年全球大數(shù)據(jù)技術(shù)和服務(wù)市場(chǎng)總額也就是240億美元左右。不切實(shí)際、一窩蜂地上大數(shù)據(jù)項(xiàng)目不應(yīng)鼓勵(lì)。
 
對(duì)一部分人來說，大數(shù)據(jù)已經(jīng)是個(gè)客觀存在和競(jìng)爭(zhēng)優(yōu)勢(shì)﹔對(duì)絕大多數(shù)人來說，大數(shù)據(jù)可以是一種“從現(xiàn)在做起”的世界觀，和未雨綢繆、決戰(zhàn)未來的戰(zhàn)略?？梢哉f，大數(shù)據(jù)開啟了一個(gè)新的世界，我們對(duì)這個(gè)世界的認(rèn)知必須主動(dòng)求變。
 
舊的認(rèn)識(shí)是“數(shù)據(jù)是稀缺資源”，這種認(rèn)識(shí)直接導(dǎo)致“數(shù)據(jù)小農(nóng)”心態(tài)。大數(shù)據(jù)開始于數(shù)據(jù)測(cè)量，而“數(shù)據(jù)小農(nóng)”揀著測(cè)、挑著存、采著樣來處理，總是幻想能夠從最少的數(shù)據(jù)壓榨出最多的信息。
 
新的認(rèn)識(shí)是，要參與大數(shù)據(jù)的游戲并且制勝，必須產(chǎn)生大數(shù)據(jù)。在大數(shù)據(jù)時(shí)代，擁有大數(shù)據(jù)是一種幸福和特權(quán)。因此，每一個(gè)個(gè)體、企業(yè)和政府需要自覺、客觀、全面地去測(cè)量世界，并且把數(shù)據(jù)存下來。決策者需要具備的大數(shù)據(jù)觀很簡(jiǎn)單：數(shù)據(jù)不是累贅，數(shù)據(jù)里有很多價(jià)值，數(shù)據(jù)的存儲(chǔ)和搬運(yùn)會(huì)越來越便宜。
 
因此，大數(shù)據(jù)也是一種戰(zhàn)略、世界觀和習(xí)慣。即使今天沒有大體量的數(shù)據(jù)，還是可以盡可能自覺、客觀、全面地測(cè)量世界，為未來的大數(shù)據(jù)實(shí)踐做準(zhǔn)備。對(duì)于一個(gè)企業(yè)或系統(tǒng)來說，挑戰(zhàn)在數(shù)據(jù)采集，而非存儲(chǔ)。微信在設(shè)計(jì)之初就把數(shù)據(jù)監(jiān)控精細(xì)化，并納入基礎(chǔ)框架，這是意識(shí)和實(shí)力的體現(xiàn)。