互聯(lián)網(wǎng)大數(shù)據(jù)的科學(xué)大思考_數(shù)據(jù)分析師

摩爾定律帶動了微電子的發(fā)展，信息技術(shù)信息流經(jīng)歷了獲取、傳輸?shù)接嬎愦鎯?，而大?shù)據(jù)進一步推動了技術(shù)的變革。近日，北京航空航天大學(xué)校長懷進鵬院士分享了互聯(lián)網(wǎng)大數(shù)據(jù)的科學(xué)大思考。

北京航空航天大學(xué)校長懷進鵬院士

科學(xué)世界的摩爾定律

在過去的二十年，計算速度和存儲容量由于微電子的發(fā)展，CPU的性能提高了3500倍，但內(nèi)存和硬盤的價格卻下降了45000倍和360萬倍。帶寬的低廉程度已經(jīng)遠遠超過了摩爾定律，單機進入了網(wǎng)絡(luò)計算，離線進入了在線時代。新的技術(shù)變革正在開啟。

當上網(wǎng)獲取信息資源變得越來越低成本、通訊帶寬超越摩爾定律的時候，就使得互聯(lián)網(wǎng)的應(yīng)用進入了第二次價值挖掘。人們不需要知道服務(wù)方在哪里，只需關(guān)注獲取的服務(wù)和相應(yīng)的資源。

由于互聯(lián)網(wǎng)的應(yīng)用，過去技術(shù)單向交流的方式開始進入了雙向交流的時代，也進一步加速了互聯(lián)網(wǎng)的發(fā)展和新能力的創(chuàng)造。

互聯(lián)網(wǎng)模式的三個典型時代

“過去互聯(lián)網(wǎng)模式走過三個典型的時代，即主機時代、網(wǎng)絡(luò)計算時代，到現(xiàn)在云計算時代。從封閉可控的平臺進入了開放和沒有集中控制的網(wǎng)絡(luò)環(huán)境。到最終未來的發(fā)展當中，在寬帶不斷發(fā)展、微電子的價格不斷下降，而資源獲取能力增強的時候，就出現(xiàn)了計算模式的新變化。由于帶寬和成本的不斷變化，導(dǎo)致一種新的計算模式的變化。” 懷進鵬說到。

上個世紀八十年代出現(xiàn)了第一次計算機變革，是由于PC時代造成的，軟件第一次成為商品，可以通過購買copyright作為看不見的商品在市場上流行；到九十年代的網(wǎng)絡(luò)時代，出現(xiàn)互聯(lián)網(wǎng)有效規(guī)模的應(yīng)用，就成為信息獲取和信息交換的平臺；目前的云計算模式正在推動新的、前所未有的、從量的積累到質(zhì)的變化的時代。對于任何一個IT領(lǐng)域的技術(shù)和產(chǎn)品，時間的開放窗口并不長，比如像PC、手機和互聯(lián)網(wǎng)，一旦形成技術(shù)的標準或一定規(guī)模的成熟，對于追隨者就再也沒有機會了，或者只能處于它的旁觀者。

高速的互聯(lián)網(wǎng)發(fā)展過程中，對提升高端計算的利用率和應(yīng)用性、提升低端計算的事務(wù)處理能力和服務(wù)的能力，都會有重要變化。

科學(xué)計算奠定了大數(shù)據(jù)的基礎(chǔ)

互聯(lián)網(wǎng)也改變了人們的交換行為模式。社交網(wǎng)絡(luò)如facebook、人人網(wǎng)、微博等改變了人們的上網(wǎng)規(guī)模和方式，與此同時，生產(chǎn)控制系統(tǒng)、嵌入式系統(tǒng)、傳感器所傳遞的系統(tǒng)，也改變了應(yīng)用模式。所以，科學(xué)計算是大數(shù)據(jù)產(chǎn)生的基礎(chǔ)。

無論是從商業(yè)、工業(yè)，還是科學(xué)計算以及社會計算，給現(xiàn)實社會帶來了新的問題。互聯(lián)網(wǎng)二次價值的開發(fā)和新的挑戰(zhàn)在哪里？云計算作為一種計算模式，正在人們的生活發(fā)揮著作用，云計算背后要處理在現(xiàn)實應(yīng)用當中或者是實際需求中的問題，人們提出大數(shù)據(jù)也是其中一個選擇。

對大數(shù)據(jù)有很多說法，從外顯特征來看，簡單叫做4V或者5V，從規(guī)模和變化頻度以及種類和價值密度的角度。維基百科也對大數(shù)據(jù)給出了外在的定義，即量級很大但是又無法處理的數(shù)據(jù)。

對于大數(shù)據(jù)，不能簡單看它就叫做一個數(shù)據(jù)，更重要的人們?nèi)绾蚊鎸?shù)據(jù)從量到質(zhì)的變化過程。所以它已經(jīng)不是過去我們說的大批量數(shù)據(jù)、海量數(shù)據(jù)到大數(shù)據(jù)，不是簡單的從量的規(guī)?？紤]，而是發(fā)生了規(guī)模的質(zhì)的變化以后，給人們帶來的問題。即傳統(tǒng)數(shù)據(jù)，從靜態(tài)進入動態(tài)，從簡單、多維變成了巨量的維，而且它的種類是沒有辦法控制的。

因此，如何駕馭數(shù)據(jù)顯得非常重要。駕馭數(shù)據(jù)是指數(shù)據(jù)過度泛濫或者數(shù)據(jù)不容易像處理商業(yè)數(shù)據(jù)。因為有的數(shù)據(jù)沒有很忙特別價值。人們需要找到一種新的方式，從很多的數(shù)據(jù)中選擇有用的數(shù)據(jù)。

在2010年《經(jīng)濟學(xué)人》有一篇專題標題就叫做“數(shù)據(jù)洪災(zāi)” “數(shù)據(jù)泛濫”的報道，文中提到數(shù)據(jù)從稀缺走向豐富的時候，會有很多新的麻煩。在這篇專題當中也談到了關(guān)于數(shù)據(jù)經(jīng)濟的問題，即數(shù)據(jù)進入了新的經(jīng)濟時代。

從過去科學(xué)研究當中，由于信息的發(fā)展創(chuàng)造了很多人為的數(shù)據(jù)，和非自然的數(shù)據(jù)。所以需要從數(shù)據(jù)的關(guān)聯(lián)發(fā)現(xiàn)和數(shù)據(jù)統(tǒng)計特征找出新的價值。這也是很多科學(xué)價值研究的重要內(nèi)容。

“那么大數(shù)據(jù)有多大的作用？在推特上，日本的海嘯信息提前傳播，對受災(zāi)信息提前報警；去年7月21日，北京的暴雨，有900萬多條微博，把可能救助的方案提前在微博中發(fā)布。關(guān)于釣魚島，反映出社會的信息和情緒建議，如何更有效地處理這樣的問題；2008年甲流爆發(fā)前幾周谷歌提前預(yù)測冬季流感的傳播和甲型流感的問題；阿里巴巴的馬云對于金融危機的預(yù)感、百度的個性化搜索等，這是都是大數(shù)據(jù)作用的例子?！?懷進鵬舉例子說到。

在西方國家，利用微博、社交網(wǎng)絡(luò)創(chuàng)造了很多新的價值，比如說根據(jù)民眾的情緒或者對某一只股票的影響，對沖基金可以根據(jù)對企業(yè)的分析決定是否購買股票，以及對于上市的企業(yè)是否破產(chǎn)，都可以給金融分析進行幫助。

實際上在數(shù)據(jù)的經(jīng)濟社會發(fā)展的價值當中，體現(xiàn)了如何對它進行歸類和分析，并進行有效的預(yù)測。因此，擁有大數(shù)據(jù)，擁有大規(guī)模真實可運行的數(shù)據(jù)，并能夠?qū)λM行分析和處理，也許就是我們不斷提高競爭能力的重要力量。

大數(shù)據(jù)未來投資和發(fā)展的價值

大數(shù)據(jù)未來投資和發(fā)展的價值有多大？Gartner曾經(jīng)預(yù)測，認為云計算和大數(shù)據(jù)的發(fā)展將在未來獲得重要的機會。當然，咨詢預(yù)測總是有風(fēng)險的。對當前大數(shù)據(jù)的投資領(lǐng)域來看，給出了當前已經(jīng)超過30%左右和未來進一步投資領(lǐng)域的劃分，列舉了像教育、交通、醫(yī)療等，在這些領(lǐng)域可能并且已經(jīng)正在投入的行為。

大數(shù)據(jù)改變了人們的經(jīng)濟生活，淘寶和亞馬遜的例子可以了解到用戶的購物習(xí)慣；大數(shù)據(jù)改變了科學(xué)途徑，即從理論研究、實驗驗證加仿真變成以計算為主的數(shù)據(jù)密集型的科學(xué)。

計算模式的變化的影響

首先所謂的近似性，從4V到3I，以數(shù)據(jù)的計算來看。近似性就是傳統(tǒng)的精確處理不再適用，允許在一定范圍區(qū)間內(nèi)追求近似解。例如當你買一雙鞋的時候，不會跑遍北京所有的鞋店，而是根據(jù)你對一定目標的理解和趨勢的判斷。

第二是數(shù)據(jù)的增量性。數(shù)據(jù)是源源不斷的動態(tài)的變化，傳統(tǒng)是有一個封閉的假設(shè)，所有數(shù)據(jù)都齊全了再計算。因此，在大數(shù)據(jù)動態(tài)變化特征當中需要有增量計算。就像微博，可以使用音頻，視頻，還有文字等表達相同的事件，甚至跨越不同的區(qū)域，甚至是完全無關(guān)的區(qū)域。因此，如何有效地歸納，也是一個重要的問題。

未來大數(shù)據(jù)的計算模式

在大數(shù)據(jù)云計算的背景下，軟件在數(shù)據(jù)服務(wù)和運行模式當中也會有新的機遇。第一個機遇是未來數(shù)據(jù)的服務(wù)和軟件的服務(wù)將成為主要的軟件設(shè)計和開發(fā)的模式。第二個機遇是面臨軟件的設(shè)計開發(fā)和維護方式的調(diào)整，第三個需要面對的問題是用戶的隱私問題。

總之，計算模式的變遷是會成就時代的智者。大數(shù)據(jù)不僅是產(chǎn)業(yè)，也是資源、更是科學(xué)。在這個領(lǐng)域當中，有未知的很多科學(xué)問題，也有未知的需要實踐和很多技術(shù)、系統(tǒng)問題，還有需要政策和未來發(fā)展的有效支持。大數(shù)據(jù)將是未來的重要科學(xué)。