大數(shù)據(jù)的誤解和中國的科技發(fā)展之路_數(shù)據(jù)分析師考試

在“云計算”持續(xù)升溫的時候，“大數(shù)據(jù)”又來了。與云計算不同的是，這次媒體“理解”了大數(shù)據(jù)這個名詞，所以逢年過節(jié)或者重大活動的時候，大數(shù)據(jù)成了媒體喜歡用的熱詞。

一、大數(shù)據(jù)的誤解

相對于云計算概念，大數(shù)據(jù)是一個單純的技術概念，容易理解和定義。但是從目前網(wǎng)上收集的資料來看，人們對大數(shù)據(jù)的理解存在較大的偏差。產(chǎn)生這種現(xiàn)象的原因比較簡單，即研究大數(shù)據(jù)的是計算機專家，并不是哲學家，他們采用數(shù)量的多少來直觀地處理數(shù)據(jù)，而不會采用“量變會產(chǎn)生質(zhì)變”的思想來處理數(shù)據(jù)。

1、“狼”真的來了

哈佛大學社會學教授加里·金說，“這是一場革命，龐大的數(shù)據(jù)資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程?！?/span>

2013年5月10日，阿里巴巴集團董事局主席馬云在淘寶十周年晚會上，將卸任阿里集團CEO的職位，并在晚會上做卸任前的演講，馬云說，大家還沒搞清PC時代的時候，移動互聯(lián)網(wǎng)來了，還沒搞清移動互聯(lián)網(wǎng)的時候，大數(shù)據(jù)時代來了。

IBM的 大數(shù)據(jù)戰(zhàn)略以其在2012年5月發(fā)布智慧分析洞察“3A5步”動態(tài)路線圖作為基礎。所謂“3A5步”，指的是在“掌握信息”（Align）的基礎上“獲取洞察”（Anticipate），進而采取行動（Act），優(yōu)化決策策劃能夠救業(yè)務績效。除此之外，還需要不斷地“學習”（Learn）從每一次業(yè)務結(jié)果中獲得反饋，改善基于信息的決策流程，從而實現(xiàn)“轉(zhuǎn)型”（Transform）。

基于“3A5步”動態(tài)路線圖，IBM提出了“大數(shù)據(jù)平臺”架構(gòu)。該平臺的四大核心能力包括Hadoop系統(tǒng)、流計算（StreamComputing）、數(shù)據(jù)倉庫（Data Warehouse）和信息整合與治理（Information Integration and Governance）。

2、大數(shù)據(jù)的誤解在哪里

維基百科的定義是，大數(shù)據(jù)（Big data），或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時間內(nèi)達到截取、管理、處理、并整理成為人類所能解讀的信息。在總數(shù)據(jù)量相同的情況下，與個別分析獨立的小型數(shù)據(jù)集（data set）相比，將各個小型數(shù)據(jù)集合并后進行分析可得出許多額外的信息和數(shù)據(jù)關系性，可用來察覺商業(yè)趨勢、判定研究質(zhì)量、避免疾病擴散、打擊犯罪或測定實時交通路況等；這樣的用途正是大型數(shù)據(jù)集盛行的原因。

這個定義符合當前計算機專家的軟件建模思維，即去掉現(xiàn)實模型中的復雜細節(jié)，由設計人員依據(jù)自身所掌握的知識，按照主觀意識抽象出一個用來代替現(xiàn)實復雜模型的簡單模型。

然而不幸的是，這種思維用于處理真正的大數(shù)據(jù)模型時，大麻煩就會出現(xiàn)了。蝴蝶效應讓大范圍內(nèi)的數(shù)據(jù)效果變得不可思議。

對于計算科學來說，所有的理論和方法，都是為了處理數(shù)據(jù)本身的復雜關系。這是唯一的目的。如果把物理世界的存在事物當成數(shù)據(jù)體，那么物理世界的所有理論和方法，其目的也只是解決數(shù)據(jù)的存在關系。

人們對大數(shù)據(jù)的誤解主要體現(xiàn)在以下一些方面：

誤解一，大數(shù)據(jù)是大量簡單小數(shù)據(jù)集的集合。真實情況是，大數(shù)據(jù)是由不同層次的數(shù)據(jù)集構(gòu)成的復雜數(shù)據(jù)集合。其哲學邏輯描述是，大數(shù)據(jù)作為一個存在的事實，由一系列的數(shù)據(jù)集構(gòu)成，數(shù)據(jù)集作為存在的事實，由更小的數(shù)據(jù)集組成，不能再分解的數(shù)據(jù)集被稱為對象，是大數(shù)據(jù)的最小構(gòu)成單元。

誤解二，大數(shù)據(jù)的效果來自對大量小型數(shù)據(jù)集的合并分析。真實的情況是，真正決定大數(shù)據(jù)效果的是數(shù)據(jù)的組織連接形式，即結(jié)構(gòu)。結(jié)構(gòu)傳遞了結(jié)點上數(shù)據(jù)的效果，按照混沌理論，一個很小的局部事件，通過不確定性的非線性路徑的傳遞，將產(chǎn)生蝴蝶效應。或者一個很大的局部效果，通過傳遞過程的衰減，變成很小的整體影響。

3、大數(shù)據(jù)的關鍵技術在哪里

盡管中國的IT權(quán)威專家或者技術人員很少質(zhì)疑來自西方的新概念，把它們當成“真理”而大加宣傳，但是西方的權(quán)威專家卻在不斷修正這些概念，有時會全面否定之前的定義或者觀點。

據(jù)網(wǎng)上資料顯示，UML之父Ivar Jacobson來中國參加一次活動時說，“軟件工程中有幾百種方法，種類太多本身就是一個問題，這些方法缺乏一個共同的基礎，比如很難將CMMI和Scrum統(tǒng)一到一起?，F(xiàn)在要做的就是重建軟件工程的基礎”。又比如google指出了hadoop存在的問題，并且采用其它技術來替換。

在中華文化里，“人窮志短”、“拉大旗做虎皮”是中國人很重要的的處世方式，這種生存哲學阻礙了中國取得原創(chuàng)革命性科技成果的機會。比如中國的權(quán)威專家一方面高談完全自主知識產(chǎn)權(quán)的重要性，并以此通過政府的力量控制更多的資源，另一方面又想辦法和西方的權(quán)威機構(gòu)合作，利用他們的先進技術來保證自己在國內(nèi)的技術領先地位，甚至少數(shù)人幻想這種方式可以讓他們超越給他們提供技術的西方合作機構(gòu)。

大數(shù)據(jù)是一個西方專家目前并沒有弄明白的東西。谷歌的工程師發(fā)現(xiàn)當大量的數(shù)據(jù)出現(xiàn)時，就可以獲得一種規(guī)律性的結(jié)論。于是西方專家提出了大數(shù)據(jù)（Big data)概念，并快速成為科學家、企業(yè)家和政府關注的對象。

據(jù)網(wǎng)上資料說，谷歌流感趨勢預測的文章發(fā)表4年以后，新的一期《自然雜志消息》報道了一則壞消息：在最近的一次流感爆發(fā)中谷歌流感趨勢不起作用了。

建立大數(shù)據(jù)模型并不是一件容易的事情，受還原論思想的影響，西方的計算科學家采用線性思維來建立大數(shù)據(jù)模型，大數(shù)據(jù)只是大量小數(shù)據(jù)體的集合，并不考慮數(shù)據(jù)聚集在一起后產(chǎn)生的整體效應。這不是說西方科學家不了解整體效果，混沌理論，蝴蝶效應也是西方科學家提出的。

除了民族自卑感外（長期的民族屈辱使中國人失去了原始創(chuàng)造的自信），追求個人（或者小集團）名利的社會大環(huán)境使中國失去了原始創(chuàng)造力的生存土壤。

建立大數(shù)據(jù)模型需要把西方的還原論和東方的整體論思想結(jié)合起來，參照《邏輯哲學論》里的描述方式，大數(shù)據(jù)是由大量不能再分解的數(shù)據(jù)單元構(gòu)成的，這些數(shù)據(jù)單元連接成小數(shù)據(jù)體，小數(shù)據(jù)體再連接成數(shù)據(jù)體，最終連接成一個大數(shù)據(jù)體。所以大數(shù)據(jù)是一個巨復雜的數(shù)據(jù)模型，但是這個巨復雜模型又是由簡單模型組成的?？梢姶髷?shù)據(jù)的關鍵技術在于數(shù)據(jù)體的組織連接形式，即結(jié)構(gòu)。

由此可見，大數(shù)據(jù)技術包含兩大部分，一是簡單數(shù)據(jù)處理，屬于傳統(tǒng)技術，目前已經(jīng)有很多有效的方法；另外一個是數(shù)據(jù)結(jié)構(gòu)處理，這是一個全新的技術，也是云計算的典型特征，在這個技術領域，中國和美國等發(fā)達國家處在相同的起跑線上。