大數(shù)據(jù)真的是“未來的新石油”

當(dāng)前IT業(yè)最熱門的話題應(yīng)該就是大數(shù)據(jù)了，這個(gè)兩年前才被炒作起來的概念，現(xiàn)在已無處不在，占居了互聯(lián)網(wǎng)的半壁江山，它與云計(jì)算一起成為未來信息技術(shù)發(fā)展最重要的內(nèi)容。處于IT行業(yè)的人們，如果不知道大數(shù)據(jù)，不了解大數(shù)據(jù)所創(chuàng)造的那些神話般的故事，就好象已經(jīng)跟不上信息技術(shù)的發(fā)展，成為時(shí)代的落伍者了。

       那么什么是大數(shù)據(jù)？現(xiàn)在還沒人能給出一個(gè)確切的答案，它同云計(jì)算一樣，是一個(gè)形象但卻籠統(tǒng)的概念。大家一致的理解是從4V的角度來描述這一概念的內(nèi)涵。所謂4V就是說大數(shù)據(jù)具有體量巨大（Volume）、種類繁多（Variety）、實(shí)時(shí)處理（Velocity）、數(shù)據(jù)真實(shí)（Veracity）的特性。信息技術(shù)的發(fā)展，使互聯(lián)網(wǎng)遍布世界的每個(gè)角落，各種各樣的信息都可通過網(wǎng)絡(luò)進(jìn)行傳播。世上所發(fā)生的每件事情，人類所進(jìn)行的每項(xiàng)思考，社會(huì)所進(jìn)行的每點(diǎn)進(jìn)步，知識(shí)所增加的每種內(nèi)容都可通過互聯(lián)網(wǎng)進(jìn)行匯集。網(wǎng)絡(luò)技術(shù)、傳感技術(shù)與射頻技術(shù)使各種事物都可產(chǎn)生大量數(shù)據(jù)。事物的內(nèi)容、時(shí)空、方位、特性都可轉(zhuǎn)化為數(shù)據(jù)，這些經(jīng)濟(jì)的、社會(huì)的、規(guī)范的、雜亂的、簡(jiǎn)單的、復(fù)雜的等各式各樣的數(shù)據(jù)代表了不同事物的內(nèi)涵。代表不同事物的海量數(shù)據(jù)可以通過網(wǎng)絡(luò)進(jìn)行匯集，匯集后的整體數(shù)據(jù)反應(yīng)了事物的本質(zhì)特性或發(fā)展趨勢(shì)。而這種反應(yīng)事物本質(zhì)特性或發(fā)展趨勢(shì)的數(shù)據(jù)具有一定的價(jià)值，通過高性能計(jì)算機(jī)的數(shù)據(jù)提取、價(jià)值分析、數(shù)據(jù)表達(dá)等大數(shù)據(jù)技術(shù)，可以從大數(shù)據(jù)中把這些價(jià)值提取出來。不同的需要可以提取出不同的價(jià)值，所有的價(jià)值都可以為人類服務(wù)，這就是大數(shù)據(jù)的本質(zhì)。

       大數(shù)據(jù)，這一鮮明而又形象的概念之所以如此引人注目，是因?yàn)樵S多像亞馬遜、谷歌這樣的大公司為它杜撰了無數(shù)神話般的故事。每一個(gè)故事都告訴人們，大數(shù)據(jù)具有無所不能的洞察力。它可以象偉大的先知一樣預(yù)測(cè)未來，可以利用玄妙的相關(guān)關(guān)系推測(cè)人的喜好，可以利用寵大的數(shù)據(jù)窺探人的內(nèi)心，可以利用趨勢(shì)分析引導(dǎo)人的行為，甚至可以用事物發(fā)展曲線來控制人的思維，改變?nèi)祟惿鐣?huì)的發(fā)展方向。

       大數(shù)據(jù)利用最多的地方是商業(yè)領(lǐng)域。大家都知道尿布與啤酒的故事，通過大數(shù)據(jù)分析，找出這兩個(gè)毫不相干的事物之間的關(guān)聯(lián)，利用推薦系統(tǒng)，向不同用戶提供不同的產(chǎn)品推銷方案，提高產(chǎn)品的銷售量；另一個(gè)眾所周知的故事就是通過購(gòu)物記錄來分析少女懷孕的案例，通過分析用戶的購(gòu)買行為，推測(cè)用戶的現(xiàn)在狀態(tài)與未來需求。盡管這一案例因?yàn)榍址竸e人隱私而廣受批評(píng)，但卻說明了大數(shù)據(jù)分析在商業(yè)領(lǐng)域的價(jià)值。還有無數(shù)這樣或那樣的故事，都說明大數(shù)據(jù)在分析人們的喜好與購(gòu)買習(xí)慣上的巨大作用，利用這種分析，商家可以更好地進(jìn)行營(yíng)銷。權(quán)威的市場(chǎng)調(diào)查機(jī)構(gòu)說，大數(shù)據(jù)將會(huì)改變未來的商業(yè)規(guī)則，實(shí)時(shí)競(jìng)價(jià)系統(tǒng)（RTB）、更加智能的推薦系統(tǒng)以及基于大數(shù)據(jù)的商業(yè)智能分析（BA），使企業(yè)能夠生產(chǎn)更加適合用戶喜好的產(chǎn)品，能夠找到向用戶推銷產(chǎn)品更好的方法，能夠?yàn)橛脩籼峁└玫姆?wù)，能夠利用有限的資源產(chǎn)生更多的效益，大數(shù)據(jù)的這些功能將會(huì)使經(jīng)濟(jì)社會(huì)更快更好地發(fā)展。

       大數(shù)據(jù)的另一個(gè)應(yīng)用領(lǐng)域就是社會(huì)公共領(lǐng)域。利用大數(shù)據(jù)，政府可以更好地管理社會(huì)，為社會(huì)提供更好的公共服務(wù)；教育部門可以更好地獲取與傳播知識(shí)，提高民眾的素質(zhì)；衛(wèi)生部門可以預(yù)測(cè)重大流行疾病的發(fā)生，提前作出防范預(yù)警；安全部門可以監(jiān)控社會(huì)狀況，確保國(guó)家不受破壞。谷歌公司前幾年利用大數(shù)據(jù)繪制了“世界流感地圖”^[1]用來幫助人們了解世界各地流感的發(fā)病情況；利用大數(shù)據(jù)預(yù)測(cè)禽流感在各地的爆發(fā)趨勢(shì)，為民眾提供預(yù)防建議，向衛(wèi)生部門提供監(jiān)控資料。在公共安全領(lǐng)域，大數(shù)據(jù)也有巨大的作用，如美國(guó)就建立了基于各種傳感技術(shù)與大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)監(jiān)控系統(tǒng)，預(yù)測(cè)重大社會(huì)公共事件的發(fā)生，比如爆發(fā)大規(guī)模游行活動(dòng)、可能遭受的恐怖襲擊等。

       隨著科技的發(fā)展，大數(shù)據(jù)的應(yīng)用也延伸到個(gè)人服務(wù)領(lǐng)域。穿戴式設(shè)備的產(chǎn)生標(biāo)志著信息技術(shù)的發(fā)展到了以人為中心的階段。像谷歌眼鏡、蘋果手表這樣的穿戴式設(shè)備把技術(shù)與人體結(jié)合在起來，使人類可以更加便捷得獲取信息。這些穿戴式設(shè)備利用大數(shù)據(jù)為個(gè)人提供學(xué)習(xí)、生活、健康等方面的數(shù)據(jù)服務(wù)。大數(shù)據(jù)通過穿戴式設(shè)備發(fā)揮其作用，同時(shí)穿戴式設(shè)備本身也成為收集數(shù)據(jù)、構(gòu)建大數(shù)據(jù)的來源。穿戴式設(shè)備作為一種工具，大數(shù)據(jù)是其服務(wù)的內(nèi)容。

       大數(shù)據(jù)有如此巨大的作用，讓一些信息技術(shù)發(fā)達(dá)的國(guó)家倍加關(guān)注，很多大型信息公司也把大數(shù)據(jù)當(dāng)作公司未來發(fā)展的重點(diǎn)。美國(guó)是當(dāng)今世界最為重視大數(shù)據(jù)發(fā)展的國(guó)家，也是利用大數(shù)據(jù)較好的國(guó)家。美國(guó)政府把大數(shù)據(jù)作為未來信息技術(shù)發(fā)展的重中之重，認(rèn)為大數(shù)據(jù)將引起信息技術(shù)發(fā)展的革命，改變未來社會(huì)的發(fā)展模式。2012年3月美國(guó)政府發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，把大數(shù)據(jù)稱作“未來社會(huì)發(fā)展的新石油”，把發(fā)展大數(shù)據(jù)研究提到國(guó)家戰(zhàn)略的高度上來。為掌控這一“未來的新石油”，引領(lǐng)世界技術(shù)發(fā)展方向，聯(lián)邦政府制定了大數(shù)據(jù)研究發(fā)展計(jì)劃，推進(jìn)相關(guān)研究機(jī)構(gòu)進(jìn)行科技研究和創(chuàng)新發(fā)現(xiàn)。改進(jìn)從海量數(shù)據(jù)中提取價(jià)值的方法，提高從數(shù)據(jù)中獲取知識(shí)的能力，加速美國(guó)在科技領(lǐng)域中的前進(jìn)步伐，確保美國(guó)在信息技術(shù)領(lǐng)域的領(lǐng)先地位。美國(guó)政府指定了國(guó)家科學(xué)基金（NSF）、國(guó)家衛(wèi)生研究院（NIH）、能源部（DOE）、國(guó)防部（DOD）、國(guó)防部高級(jí)研究計(jì)劃局（DARPA）、地質(zhì)勘探局（USGS）6個(gè)聯(lián)邦部門來負(fù)責(zé)推進(jìn)大數(shù)據(jù)的研究，并計(jì)劃投資2億美元用來研究收集、儲(chǔ)存、保留、管理、分析和共享海量數(shù)據(jù)的技術(shù)。

       政府的投入與政策的支持，使那些本來就注重大數(shù)據(jù)研究的公司更加主動(dòng)，紛紛加大對(duì)大數(shù)據(jù)研發(fā)與利用的投入，取得了不菲的成績(jī)。如Apache基金會(huì)開發(fā)的Hadoop分布式處理系統(tǒng)，經(jīng)過不斷發(fā)展完善，現(xiàn)已成為大數(shù)據(jù)處理的標(biāo)準(zhǔn)結(jié)構(gòu)；微軟開發(fā)的Windows Azure平臺(tái)使大數(shù)據(jù)的處理更加人性化、簡(jiǎn)易化；還有其它公司，經(jīng)過不斷的創(chuàng)新研究讓大數(shù)據(jù)技術(shù)更加完善、更加實(shí)用。技術(shù)的發(fā)展使大數(shù)據(jù)的價(jià)值更加突顯，人們對(duì)它的期望也不斷提高。據(jù)說谷歌公司利用大數(shù)據(jù)不但可以預(yù)測(cè)流感的發(fā)生，也可預(yù)測(cè)美國(guó)的經(jīng)濟(jì)復(fù)蘇情況；不但可以預(yù)測(cè)明年服裝的流行色，也可預(yù)測(cè)某位娛樂名星是否可以紅遍世界。谷歌公司最近一個(gè)廣為流傳的大數(shù)據(jù)案例就是，在2013年的奧斯卡電影節(jié)上，它預(yù)測(cè)準(zhǔn)了大部分的奧斯卡獎(jiǎng)項(xiàng)得主。Facebook也是利用大數(shù)據(jù)的典型公司，大數(shù)據(jù)是這家社交網(wǎng)站最大的價(jià)值所在。通過對(duì)大量社交信息的分析，Facebook可以了解用戶的生活習(xí)慣與購(gòu)買喜好，利用定向推薦廣告，為這家年輕的公司每年創(chuàng)造上百億的產(chǎn)值。

       還有許多真實(shí)的或杜撰的有關(guān)大數(shù)據(jù)的美妙故事，每一個(gè)都反應(yīng)了大數(shù)據(jù)在某一領(lǐng)域的巨大作用，這些故事的匯編，給人們描繪了一個(gè)大數(shù)據(jù)主宰的奇幻世界。在那里，人們利用大數(shù)據(jù)可以預(yù)測(cè)任何一件事情的發(fā)展趨勢(shì)，可以完成一切不可能完成的事情。每一個(gè)人都是先知、都是智者，在大數(shù)據(jù)的支持下，每一個(gè)人都通天文、曉地理，前知一千后知八百，如齊天大圣般十八般武藝樣樣精通。然而真的是這樣嗎？

       可惜的是，理想很豐滿，實(shí)現(xiàn)很骨感。至少在當(dāng)前大數(shù)據(jù)還沒有那么大神奇，就連谷歌公司所說的利用人們的檢索詞可以用來預(yù)測(cè)流感的發(fā)展這種人人都相信的故事也沒能發(fā)生。當(dāng)H7N9在中國(guó)出現(xiàn)的時(shí)候，谷歌沒能給出任何有關(guān)這一流感發(fā)生與發(fā)展的預(yù)測(cè)，更不用說事先給民眾發(fā)出預(yù)警，提醒人們防范了；歐洲的金融危機(jī)持續(xù)了五六年，至今沒有一家大數(shù)據(jù)公司能預(yù)測(cè)這場(chǎng)金融危機(jī)何時(shí)結(jié)束，就連未來是向好還是向壞發(fā)展的方向都不能預(yù)測(cè)；在商業(yè)領(lǐng)域，個(gè)性化廣告推薦這種理應(yīng)可以做好的事，大數(shù)據(jù)也沒能表現(xiàn)出其超強(qiáng)的功用。最近經(jīng)過大數(shù)據(jù)改造的淘寶網(wǎng)個(gè)性推薦系統(tǒng)沒比五六年前好多少；號(hào)稱利用大數(shù)據(jù)使圖書銷售量大幅增加的亞馬遜網(wǎng)站上推薦的書，沒有一本是我喜觀的。

       2013年4月15號(hào)，波士頓馬拉松比賽現(xiàn)場(chǎng)發(fā)生了震驚世界的恐怖襲擊^[4]。美國(guó)人悲傷地發(fā)現(xiàn)，那些基于現(xiàn)代信息技術(shù)與大數(shù)據(jù)分析的網(wǎng)絡(luò)監(jiān)控系統(tǒng)，并沒能確保國(guó)家的安全，大數(shù)據(jù)分析在防范恐怖襲擊方面，并不象人們所期望的那樣有效。看來這個(gè)被稱為未來技術(shù)競(jìng)爭(zhēng)至高點(diǎn)的大數(shù)據(jù)，在當(dāng)下還不能如人們所期望的那樣有用。

       產(chǎn)生如此悲觀想法的原因，一是雖然大數(shù)據(jù)可能代表了未來信息技術(shù)發(fā)展的方向，具有光明的前景。但是在人們的意識(shí)與相關(guān)的配套技術(shù)還沒有發(fā)展起來的情況下，大數(shù)據(jù)還不能發(fā)揮其巨大作用。二是大數(shù)據(jù)還沒有一個(gè)確切的定義，它所具有的內(nèi)涵還不能被清晰地詮釋。美國(guó)把大數(shù)據(jù)被稱作“未來的新石油”，然而石油是不可再生的，數(shù)據(jù)卻是隨時(shí)隨地都在產(chǎn)生，越是往后產(chǎn)生的數(shù)據(jù)越多，數(shù)據(jù)的準(zhǔn)確性越高，對(duì)數(shù)據(jù)的處理能力越強(qiáng)，這讓人們對(duì)現(xiàn)在就收集并占有大量數(shù)據(jù)的必要性產(chǎn)生懷疑；還有從大數(shù)據(jù)中提取價(jià)值首先要有需求，沒有需求就不知道從大數(shù)據(jù)中提取什么，當(dāng)人們的思維還沒有發(fā)展到可以完全掌控?cái)?shù)據(jù)，還不知道大數(shù)據(jù)到底有什么用處時(shí)，很難對(duì)其產(chǎn)生需求；沒有需求就沒有數(shù)據(jù)收集的方向，沒有方向的收集就會(huì)造成巨大浪費(fèi)；在方向不明的時(shí)候，唯一可做的就是收集所有可能收集到的數(shù)據(jù)，然而這樣不但會(huì)給數(shù)據(jù)的存儲(chǔ)、管理造成具大的成本，也會(huì)產(chǎn)生一些法律的問題，例如是否會(huì)侵犯他人隱私等。再有，隨著科技的發(fā)展，穿戴式設(shè)備會(huì)不斷智能化并在生活中得以普及，這種以人為中心的智能設(shè)備本身就會(huì)不斷分析所取得的數(shù)據(jù)，提取個(gè)人的喜好等特性，學(xué)習(xí)與適應(yīng)人個(gè)的品性，具有人的品性特征，這樣就使得從大數(shù)據(jù)中分析人的品性失去了意義。

以上這一切都讓人們對(duì)大數(shù)據(jù)的發(fā)展未來產(chǎn)生了懷疑。因此，當(dāng)美國(guó)制定大數(shù)據(jù)發(fā)展戰(zhàn)略，把它看成“未來的新石油”時(shí)，世界其它國(guó)家雖然也十分重視這一技術(shù)的發(fā)展，卻沒有制定相關(guān)發(fā)展戰(zhàn)略。這有可能是其它國(guó)家在大數(shù)據(jù)技術(shù)方面落后于美國(guó)，還不能制定明確的發(fā)展目標(biāo)，也可能是人們對(duì)這一技術(shù)的發(fā)展前景還沒有一個(gè)清楚的認(rèn)識(shí)，無法確定大數(shù)據(jù)是否真的可以引領(lǐng)未來技術(shù)的發(fā)展方向。因此，我們還是暫時(shí)忘了大數(shù)據(jù)吧！別再關(guān)注那些炙熱的概念炒作，靜下心來認(rèn)認(rèn)真真地想一想大數(shù)據(jù)的真正內(nèi)涵。