大數(shù)據(jù)的誤解和中國的科技發(fā)展之路_數(shù)據(jù)分析師考試

在“云計(jì)算”持續(xù)升溫的時(shí)候，“大數(shù)據(jù)”又來了。與云計(jì)算不同的是，這次媒體“理解”了大數(shù)據(jù)這個(gè)名詞，所以逢年過節(jié)或者重大活動(dòng)的時(shí)候，大數(shù)據(jù)成了媒體喜歡用的熱詞。

一、大數(shù)據(jù)的誤解

相對(duì)于云計(jì)算概念，大數(shù)據(jù)是一個(gè)單純的技術(shù)概念，容易理解和定義。但是從目前網(wǎng)上收集的資料來看，人們對(duì)大數(shù)據(jù)的理解存在較大的偏差。產(chǎn)生這種現(xiàn)象的原因比較簡單，即研究大數(shù)據(jù)的是計(jì)算機(jī)專家，并不是哲學(xué)家，他們采用數(shù)量的多少來直觀地處理數(shù)據(jù)，而不會(huì)采用“量變會(huì)產(chǎn)生質(zhì)變”的思想來處理數(shù)據(jù)。

1、“狼”真的來了

哈佛大學(xué)社會(huì)學(xué)教授加里·金說，“這是一場革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。”

2013年5月10日，阿里巴巴集團(tuán)董事局主席馬云在淘寶十周年晚會(huì)上，將卸任阿里集團(tuán)CEO的職位，并在晚會(huì)上做卸任前的演講，馬云說，大家還沒搞清PC時(shí)代的時(shí)候，移動(dòng)互聯(lián)網(wǎng)來了，還沒搞清移動(dòng)互聯(lián)網(wǎng)的時(shí)候，大數(shù)據(jù)時(shí)代來了。

IBM的 大數(shù)據(jù)戰(zhàn)略以其在2012年5月發(fā)布智慧分析洞察“3A5步”動(dòng)態(tài)路線圖作為基礎(chǔ)。所謂“3A5步”，指的是在“掌握信息”（Align）的基礎(chǔ)上“獲取洞察”（Anticipate），進(jìn)而采取行動(dòng)（Act），優(yōu)化決策策劃能夠救業(yè)務(wù)績效。除此之外，還需要不斷地“學(xué)習(xí)”（Learn）從每一次業(yè)務(wù)結(jié)果中獲得反饋，改善基于信息的決策流程，從而實(shí)現(xiàn)“轉(zhuǎn)型”（Transform）。

基于“3A5步”動(dòng)態(tài)路線圖，IBM提出了“大數(shù)據(jù)平臺(tái)”架構(gòu)。該平臺(tái)的四大核心能力包括Hadoop系統(tǒng)、流計(jì)算（StreamComputing）、數(shù)據(jù)倉庫（Data Warehouse）和信息整合與治理（Information Integration and Governance）。

2、大數(shù)據(jù)的誤解在哪里

維基百科的定義是，大數(shù)據(jù)（Big data），或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時(shí)間內(nèi)達(dá)到截取、管理、處理、并整理成為人類所能解讀的信息。在總數(shù)據(jù)量相同的情況下，與個(gè)別分析獨(dú)立的小型數(shù)據(jù)集（data set）相比，將各個(gè)小型數(shù)據(jù)集合并后進(jìn)行分析可得出許多額外的信息和數(shù)據(jù)關(guān)系性，可用來察覺商業(yè)趨勢、判定研究質(zhì)量、避免疾病擴(kuò)散、打擊犯罪或測定實(shí)時(shí)交通路況等；這樣的用途正是大型數(shù)據(jù)集盛行的原因。

這個(gè)定義符合當(dāng)前計(jì)算機(jī)專家的軟件建模思維，即去掉現(xiàn)實(shí)模型中的復(fù)雜細(xì)節(jié)，由設(shè)計(jì)人員依據(jù)自身所掌握的知識(shí)，按照主觀意識(shí)抽象出一個(gè)用來代替現(xiàn)實(shí)復(fù)雜模型的簡單模型。

然而不幸的是，這種思維用于處理真正的大數(shù)據(jù)模型時(shí)，大麻煩就會(huì)出現(xiàn)了。蝴蝶效應(yīng)讓大范圍內(nèi)的數(shù)據(jù)效果變得不可思議。

對(duì)于計(jì)算科學(xué)來說，所有的理論和方法，都是為了處理數(shù)據(jù)本身的復(fù)雜關(guān)系。這是唯一的目的。如果把物理世界的存在事物當(dāng)成數(shù)據(jù)體，那么物理世界的所有理論和方法，其目的也只是解決數(shù)據(jù)的存在關(guān)系。

人們對(duì)大數(shù)據(jù)的誤解主要體現(xiàn)在以下一些方面：

誤解一，大數(shù)據(jù)是大量簡單小數(shù)據(jù)集的集合。真實(shí)情況是，大數(shù)據(jù)是由不同層次的數(shù)據(jù)集構(gòu)成的復(fù)雜數(shù)據(jù)集合。其哲學(xué)邏輯描述是，大數(shù)據(jù)作為一個(gè)存在的事實(shí)，由一系列的數(shù)據(jù)集構(gòu)成，數(shù)據(jù)集作為存在的事實(shí)，由更小的數(shù)據(jù)集組成，不能再分解的數(shù)據(jù)集被稱為對(duì)象，是大數(shù)據(jù)的最小構(gòu)成單元。

誤解二，大數(shù)據(jù)的效果來自對(duì)大量小型數(shù)據(jù)集的合并分析。真實(shí)的情況是，真正決定大數(shù)據(jù)效果的是數(shù)據(jù)的組織連接形式，即結(jié)構(gòu)。結(jié)構(gòu)傳遞了結(jié)點(diǎn)上數(shù)據(jù)的效果，按照混沌理論，一個(gè)很小的局部事件，通過不確定性的非線性路徑的傳遞，將產(chǎn)生蝴蝶效應(yīng)?；蛘咭粋€(gè)很大的局部效果，通過傳遞過程的衰減，變成很小的整體影響。

3、大數(shù)據(jù)的關(guān)鍵技術(shù)在哪里

盡管中國的IT權(quán)威專家或者技術(shù)人員很少質(zhì)疑來自西方的新概念，把它們當(dāng)成“真理”而大加宣傳，但是西方的權(quán)威專家卻在不斷修正這些概念，有時(shí)會(huì)全面否定之前的定義或者觀點(diǎn)。

據(jù)網(wǎng)上資料顯示，UML之父Ivar Jacobson來中國參加一次活動(dòng)時(shí)說，“軟件工程中有幾百種方法，種類太多本身就是一個(gè)問題，這些方法缺乏一個(gè)共同的基礎(chǔ)，比如很難將CMMI和Scrum統(tǒng)一到一起?，F(xiàn)在要做的就是重建軟件工程的基礎(chǔ)”。又比如google指出了hadoop存在的問題，并且采用其它技術(shù)來替換。

在中華文化里，“人窮志短”、“拉大旗做虎皮”是中國人很重要的的處世方式，這種生存哲學(xué)阻礙了中國取得原創(chuàng)革命性科技成果的機(jī)會(huì)。比如中國的權(quán)威專家一方面高談完全自主知識(shí)產(chǎn)權(quán)的重要性，并以此通過政府的力量控制更多的資源，另一方面又想辦法和西方的權(quán)威機(jī)構(gòu)合作，利用他們的先進(jìn)技術(shù)來保證自己在國內(nèi)的技術(shù)領(lǐng)先地位，甚至少數(shù)人幻想這種方式可以讓他們超越給他們提供技術(shù)的西方合作機(jī)構(gòu)。

大數(shù)據(jù)是一個(gè)西方專家目前并沒有弄明白的東西。谷歌的工程師發(fā)現(xiàn)當(dāng)大量的數(shù)據(jù)出現(xiàn)時(shí)，就可以獲得一種規(guī)律性的結(jié)論。于是西方專家提出了大數(shù)據(jù)（Big data)概念，并快速成為科學(xué)家、企業(yè)家和政府關(guān)注的對(duì)象。

據(jù)網(wǎng)上資料說，谷歌流感趨勢預(yù)測的文章發(fā)表4年以后，新的一期《自然雜志消息》報(bào)道了一則壞消息：在最近的一次流感爆發(fā)中谷歌流感趨勢不起作用了。

建立大數(shù)據(jù)模型并不是一件容易的事情，受還原論思想的影響，西方的計(jì)算科學(xué)家采用線性思維來建立大數(shù)據(jù)模型，大數(shù)據(jù)只是大量小數(shù)據(jù)體的集合，并不考慮數(shù)據(jù)聚集在一起后產(chǎn)生的整體效應(yīng)。這不是說西方科學(xué)家不了解整體效果，混沌理論，蝴蝶效應(yīng)也是西方科學(xué)家提出的。

除了民族自卑感外（長期的民族屈辱使中國人失去了原始創(chuàng)造的自信），追求個(gè)人（或者小集團(tuán)）名利的社會(huì)大環(huán)境使中國失去了原始創(chuàng)造力的生存土壤。

建立大數(shù)據(jù)模型需要把西方的還原論和東方的整體論思想結(jié)合起來，參照《邏輯哲學(xué)論》里的描述方式，大數(shù)據(jù)是由大量不能再分解的數(shù)據(jù)單元構(gòu)成的，這些數(shù)據(jù)單元連接成小數(shù)據(jù)體，小數(shù)據(jù)體再連接成數(shù)據(jù)體，最終連接成一個(gè)大數(shù)據(jù)體。所以大數(shù)據(jù)是一個(gè)巨復(fù)雜的數(shù)據(jù)模型，但是這個(gè)巨復(fù)雜模型又是由簡單模型組成的?？梢姶髷?shù)據(jù)的關(guān)鍵技術(shù)在于數(shù)據(jù)體的組織連接形式，即結(jié)構(gòu)。

由此可見，大數(shù)據(jù)技術(shù)包含兩大部分，一是簡單數(shù)據(jù)處理，屬于傳統(tǒng)技術(shù)，目前已經(jīng)有很多有效的方法；另外一個(gè)是數(shù)據(jù)結(jié)構(gòu)處理，這是一個(gè)全新的技術(shù)，也是云計(jì)算的典型特征，在這個(gè)技術(shù)領(lǐng)域，中國和美國等發(fā)達(dá)國家處在相同的起跑線上。