真正的大數(shù)據(jù)應(yīng)用體現(xiàn)在數(shù)據(jù)挖掘的深度

我今天的題目叫做大數(shù)據(jù)與數(shù)據(jù)驅(qū)動的智慧，首先我大概分成四個部分，談?wù)勎覍Υ髷?shù)據(jù)的認識，我想講四個部分，第一個談?wù)剬Υ髷?shù)據(jù)的認識，第二個大數(shù)據(jù)給我們帶來什么挑戰(zhàn)，第三個大數(shù)據(jù)應(yīng)用，最后結(jié)合我們的主題講講數(shù)據(jù)和智能的關(guān)系，主要談我的理解。

認識大數(shù)據(jù)

所謂大數(shù)據(jù)，它是我們信息化到一定階段之后，必然出現(xiàn)的一個現(xiàn)象（自然現(xiàn)象），主要是由于信息技術(shù)不斷的成本化，不斷的廉價化，以及互聯(lián)網(wǎng)及其延伸出來的，帶來的信息技術(shù)無處不在的應(yīng)用所帶來的自然現(xiàn)象。

基本上有幾個主要的驅(qū)動力：

一個是摩爾定律所驅(qū)動的指數(shù)增長模式；

第二個是我們技術(shù)低成本化驅(qū)動的萬物的數(shù)字化；

第三個就是寬帶移動泛在互聯(lián)驅(qū)動的人機物廣聯(lián)連接，以及最后大規(guī)模的匯聚。

實際上大數(shù)據(jù)正在帶來我們新的一撥數(shù)據(jù)化的浪潮，信息化的第三撥浪潮3.0。

如果我們回顧來看我們的過去的話，我們大體上能夠看到兩個明顯的階段的劃分，一個是在從PC機開始進入市場以來，應(yīng)該說帶來了信息化的第一撥浪潮，這個浪潮差不多到90年代中期，這個時候的主要特征是單機應(yīng)用為特征的數(shù)字化特征，我們主要完成簡單的工作上最核心業(yè)務(wù)的數(shù)字化的工作，以PC機為主。

在過去的20年，90年代中期到現(xiàn)在，以聯(lián)網(wǎng)應(yīng)用為特征的網(wǎng)絡(luò)化出現(xiàn)數(shù)據(jù)大集中，開始全國范圍內(nèi)的大聯(lián)網(wǎng)等等，各個企業(yè)甚至走向企業(yè)全球，現(xiàn)在我們正在進入新的階段，這個以數(shù)據(jù)的深度挖掘和融合應(yīng)用為特征的智慧化，或者智慧化的現(xiàn)象。

到底什么是大數(shù)據(jù)，這兩個定義從兩個角度來談：

一個從技術(shù)上來講，我們的技術(shù)供給能力不足所面臨的對象他稱之為大數(shù)據(jù)，第二是從數(shù)據(jù)特征講的數(shù)據(jù)，這是兩個數(shù)據(jù)的定義。

應(yīng)對大數(shù)據(jù)

大數(shù)據(jù)帶來的是什么，我覺得最重要的東西可能帶來的是思維模式的變化，如果回顧來看看我們過去，基本上定義這不一定是大家都能夠接受，但是能夠去查的話，定義出現(xiàn)所謂的大數(shù)據(jù)是在上個世紀(jì)的時候，97年的時候，SGI的首席科學(xué)家曾經(jīng)用了這個詞，他講了數(shù)據(jù)提到大數(shù)據(jù)，特別強調(diào)從技術(shù)的視角來看，所謂的難獲取，難預(yù)測，難處理，難組織四個難題。而從商業(yè)視角與大數(shù)據(jù)時代這本書的發(fā)行，開始探討大數(shù)據(jù)在商業(yè)里面的應(yīng)用，特別強調(diào)了幾個很重要的特征，從隨機樣本到群體數(shù)據(jù)等這么一個變化。

這是我們經(jīng)常講的大數(shù)據(jù)的價值和意義，大體上分成幾個方面。

一個通過大數(shù)據(jù)，我們能夠認識復(fù)雜系統(tǒng)的新思維，促進經(jīng)濟轉(zhuǎn)型，提升國家綜合能力保障國家安全，提升政府的治理能力以及服務(wù)民生服務(wù)社會的能力。

這是我在幾個場合講的一個我對當(dāng)前數(shù)據(jù)狀況的一個認識，以及個人的一些見解，時間關(guān)系我不會詳細的說，我覺得目前來講，大數(shù)據(jù)開始還在炒作的階段，至少到我們中國炒作的熱潮還沒有過去，所以我們相對于國外的炒作，國外開始進入我們還滯后了3到5年，真正的大數(shù)據(jù)應(yīng)用應(yīng)該體現(xiàn)在數(shù)據(jù)挖掘的深度。

原因有三點：首先有我們對數(shù)據(jù)認識不到位的原因，還有在當(dāng)今的情況下一宣傳大家都很熱，成為了獲取資源的途徑。不聊大數(shù)據(jù)就拿不到項目，這也是一個很重要的原因；

第二個是大數(shù)據(jù)投入過熱，資源浪費比較明顯，這方面的投入特別是數(shù)據(jù)中心的投入為典型；

第三個就是我們認為大數(shù)據(jù)的理論和技術(shù)都還處于發(fā)展的早期，所以我們定義已經(jīng)有了共識，但是對它的核心觀點和命題還是有很多爭議的，比如說大和小，到底怎么來定義，關(guān)聯(lián)和因果的辯證性，所有都講關(guān)聯(lián)不求因果的嗎，所有的數(shù)字化的東西相對于客觀世界而言也僅僅是一個抽樣而已，不管是它的時間密度，空間密度到底有多大。第二是不是有通用的技術(shù)體系也不太敏感，從我們做計算領(lǐng)域研究的人來講，總是希望能夠為數(shù)據(jù)的處理方式提供一種手段。數(shù)據(jù)科學(xué)的理論基礎(chǔ)還沒有，比如說傳統(tǒng)的統(tǒng)計方法，他有一個數(shù)據(jù)統(tǒng)計的基礎(chǔ)在本，我們是不是就用統(tǒng)計，用深度學(xué)習(xí)，還有沒有其他更好的理論上的突破，這個應(yīng)用了相對超前理論和技術(shù)的發(fā)展，這樣使得很多數(shù)據(jù)分析的結(jié)論基本上缺少因果，缺少理論知識，都是用靠關(guān)聯(lián)關(guān)系建立起來的。有時候這個使用還是需要適當(dāng)審慎的。最后一個大數(shù)據(jù)這個現(xiàn)象可能會長期的存在，對我們計算能力的挑戰(zhàn)也是永恒的。

我順便舉兩個歷史上大人物說過的話，這是過高的估計了當(dāng)時的計算。

一個是IBM當(dāng)時的首席認為世界上是由幾臺計算機就夠了，這個大家經(jīng)常當(dāng)成他的笑話來說，比爾蓋茨也說640K的內(nèi)存就差不多了，我想數(shù)據(jù)的增長會遠遠的超出我們處理能力的增長，所以我們很多的數(shù)據(jù)是做不到的。比如說2016年美國存儲軟件供應(yīng)商發(fā)布的，剛才我看有人給我發(fā)一個他們做的冷數(shù)據(jù)存儲，冷數(shù)據(jù)你還處理過，但有的數(shù)據(jù)你碰都沒碰把它存儲起來，這個對我們的挑戰(zhàn)也是很大的。我們把一個地球搞清楚，把科學(xué)搞清楚，很多數(shù)據(jù)我估計真的到宇宙發(fā)生變化的時候也未必能夠完全處理清楚。

第二個數(shù)據(jù)帶來的挑戰(zhàn)，我是把它分成兩大類，一類下面這類有大數(shù)據(jù)的管理，主要指的計算機的技術(shù)，講計算機類的技術(shù)，第二是大數(shù)據(jù)的分析方法，怎么樣有理論方法去分析它，講這兩個。大體上有這么幾個東西。管理上一個是數(shù)據(jù)庫管理系統(tǒng)，面臨一系列的挑戰(zhàn)，我們傳統(tǒng)的關(guān)系型關(guān)系庫追求數(shù)據(jù)的一致，系統(tǒng)的高性能。沒有預(yù)先定義的模式使得一致性難以支持，高性能也難以實現(xiàn)。數(shù)據(jù)庫傳統(tǒng)發(fā)展的理念也開始完全由一個通用的數(shù)據(jù)庫開始追求領(lǐng)域通用，這是一部分。

這是數(shù)據(jù)的管理本身，那么數(shù)據(jù)的處理，怎么處理，由于單臺計算設(shè)備不管性能有多高，它也不可能把數(shù)據(jù)處理完，所以說并行處理就成為不二的選擇，因為數(shù)據(jù)量太大了。要并行處理就面臨不同數(shù)據(jù)的需求，比如說批處理，流處理，圖處理，當(dāng)然一系列的東西大家都在嘗試，也可能不存在通用的數(shù)據(jù)處理方法，或者數(shù)據(jù)處理平臺能夠適應(yīng)所有類型的數(shù)據(jù)，是不是能夠做到，現(xiàn)在目前來看也沒有。

一種可能的途徑，比如說能不能通過軟件的定義的方式，我們能夠把各種能力集中到一起，然后在上面透過不同的數(shù)據(jù)處理的需求，定義出不同的平臺，也就是說我要實現(xiàn)這種平臺把它柔和到一起的這種可定制性，可剪裁性能不能做到。還有云計算中心，現(xiàn)在越來越多的大數(shù)據(jù)依托于云計算中心。

第二部分大數(shù)據(jù)的分析方法，可能和數(shù)學(xué)分析方法更緊密的相關(guān)，怎么能夠把我們理論方法體系建立起來，在不同領(lǐng)域進行應(yīng)用。

我們大數(shù)據(jù)分析面臨著一對挑戰(zhàn)：

一個是分析對象的改變，過去是預(yù)處理后數(shù)據(jù)我們現(xiàn)在是原始數(shù)據(jù)，以前是樣本數(shù)據(jù)，現(xiàn)在是全數(shù)據(jù)，以前是單源單模態(tài)數(shù)據(jù)，現(xiàn)在是多源多模態(tài)數(shù)據(jù)。就是分析對象發(fā)生了變化；

第二是分析的需求發(fā)生變化，我們需要更加準(zhǔn)確的高精度分析，還有復(fù)雜關(guān)聯(lián)的深層特征，還有大規(guī)模的復(fù)雜關(guān)聯(lián)；

第三個變化分析模型能力的變化，我們需要追求從表達力受限的低維數(shù)據(jù)，到高信息量的高維數(shù)據(jù)，還有弱表達力的簡單模型到強表達力的復(fù)雜模型，目前來看，我們很多的大數(shù)據(jù)分析方法都主要是可視化的展現(xiàn)，統(tǒng)計分析，機器學(xué)習(xí)的技術(shù)；

再一個大數(shù)據(jù)可能在這種情況下，計算機領(lǐng)域也探討了很多，現(xiàn)在的以通用性考慮為主的IT體系很難滿足大數(shù)據(jù)的需求，有必要考慮對整個IT架構(gòu)進行革命性的重構(gòu)。

應(yīng)用大數(shù)據(jù)

第三應(yīng)用大數(shù)據(jù)有一些成功的案例我就不細說了，我做了一個分類，一類是互聯(lián)網(wǎng)類的，這主要是指公共平臺的，物聯(lián)網(wǎng)類主要是有助的，做的各種傳感器，組織業(yè)務(wù)是指每一個企業(yè)機構(gòu)他們自己內(nèi)部的以結(jié)構(gòu)化數(shù)據(jù)為核心的融合的各種各樣的組織業(yè)務(wù)的數(shù)據(jù)。還有一個科學(xué)實驗的數(shù)據(jù)，大體分成這樣幾個。大家可以看到這幾類數(shù)據(jù)都有很多成功的案例，在這我也不細講了。

大數(shù)據(jù)應(yīng)用，大家基本上認為有三個層次。

一個首先第一個層次只是關(guān)注到底當(dāng)前發(fā)生了什么，把發(fā)展的態(tài)勢曲線給你描述出來，呈現(xiàn)發(fā)展的歷程；

第二是預(yù)測，能夠在當(dāng)前分析的基礎(chǔ)之上，預(yù)測它未來可能會發(fā)生什么，呈現(xiàn)事物發(fā)展的這么一個趨勢。比如說流感的預(yù)測，奧斯卡的預(yù)測大概都屬于這類；

第三類就是所謂的指導(dǎo)性，指導(dǎo)性的就當(dāng)前的態(tài)勢，如果你做一個動作，會產(chǎn)生什么后果，這就便于當(dāng)前的態(tài)勢要做出決策，不僅是預(yù)測未來怎么樣，而是做一個動作以后，做一個決策以后，會不會影響未來的結(jié)果。

所以從當(dāng)前來看我以為當(dāng)前的大數(shù)據(jù)應(yīng)用呈現(xiàn)這么幾個特點：

一個從應(yīng)用層次上講，應(yīng)該說描述性，預(yù)測性的應(yīng)用還是比較多的，真正的指導(dǎo)性的應(yīng)用偏少；

第二從數(shù)據(jù)源的角度，基于單一數(shù)據(jù)源的數(shù)據(jù)偏多，基于多態(tài)數(shù)據(jù)源偏少，有什么數(shù)據(jù)整什么數(shù)據(jù)，包括今天發(fā)布了很多題目，數(shù)據(jù)擺在這你找去，根據(jù)我的應(yīng)用需求，我把各種數(shù)據(jù)柔到一塊這種應(yīng)用也偏少，有時候前幾年看了很多競賽題目都不錯，真正呈現(xiàn)大數(shù)據(jù)分析的非常讓你眼睛一亮的這種特征的東西還是偏少，他沒有應(yīng)用需求。

怎么根據(jù)我的要求找這種數(shù)據(jù)，這種應(yīng)用偏少，當(dāng)然對數(shù)據(jù)研究缺少數(shù)據(jù)源也是很重要的理論。從需求導(dǎo)向，也是根據(jù)我到底有什么問題，在問題里面我想解決什么問題，我提出解決方案，這樣的應(yīng)用這種構(gòu)建模型的應(yīng)用也偏少，因此從這個意義上講，我以為大數(shù)據(jù)應(yīng)用還僅僅在于初級階段，這也就是我剛才我講的，我們從現(xiàn)在開始，也許我們正在進入信息化的第三撥浪潮，這個階段會持續(xù)多少年，我不知道，但我樂觀的估計，大膽的揣測一下我相信應(yīng)該有十幾，二十年，這也有一個依據(jù)，這個依據(jù)我在報告的時候也會講一個東西，經(jīng)濟學(xué)上有一個傳播理論，每一個傳播大概是50年左右，包括早期的蒸汽機引領(lǐng)了50年，汽車也引領(lǐng)了50年，我們真正的信息領(lǐng)域引領(lǐng)這50年是從上個世紀(jì)50年代，以微電子網(wǎng)絡(luò)才開始，所以信息技術(shù)已經(jīng)發(fā)展了幾十年了，真正在經(jīng)濟里面占據(jù)主要的驅(qū)動力，也就從90年代開始，大家算算90年加50，我們可以到2014年所以在未來的20多年大體上還是IT的天下。

數(shù)據(jù)和智能

最后講講數(shù)據(jù)和智能，我們談的最多的是數(shù)據(jù)驅(qū)動的智能時代正在到來，我們來回顧一下人工智能，人工智能這個詞早期有非常明確的定義，他有它的做法，人工智能到現(xiàn)在為止也正在接受第三個高潮，早期的人工智能都是硬編碼，所謂的智能都是程序，就是高級程序設(shè)計，通過高級的編成方法，后來長期的發(fā)展還是走的基于規(guī)則的智能，實際上就是基于邏輯的，構(gòu)建一個規(guī)則庫，構(gòu)建一個事實庫，加上邏輯推理，當(dāng)時人工智能里面也很長時間受到批評，認為人工智能沒有產(chǎn)生什么實際的效果，實際上有一批人工智能還是不錯的，就是專家系統(tǒng)，專家系統(tǒng)真正解決了很多當(dāng)時存在的問題。

我覺得現(xiàn)在當(dāng)前我們正在走的這撥人工智能，它和過去的做法是不一樣的，這是數(shù)據(jù)驅(qū)動的智能，它是利用機器學(xué)習(xí)，統(tǒng)計分析的方法從數(shù)據(jù)中自己向上發(fā)現(xiàn)規(guī)律，前期先構(gòu)建規(guī)則，規(guī)則驅(qū)動它不太一樣，走的這樣一個途徑，今年最熱的就是阿爾法狗，在最難的棋內(nèi)戰(zhàn)勝了人類，當(dāng)時網(wǎng)上炒的很多很多，很多專家也沒出來說話，所以如果我說這個事情對于人類的威脅，我牙根就不認為它有什么威脅，他永遠是為做事的，大家想想過去每次技術(shù)進步，就把我們?nèi)祟惖膭趧訙p少多少，機械把我們的體力勞動減少多少，不過就是計算把我們的智力勞動，很多煩瑣的勞動把它減少了，他離人工智能還遠的很。

最后談到一些若干概念，當(dāng)前關(guān)于智能或者叫做人工智能，有很多提法，人工智能是最早的，一直在談，我一直認為人工智能是有它當(dāng)初嚴(yán)格的定義的，過去人工智能做的東西，現(xiàn)在我們寫的人工智能技術(shù)，前沿技術(shù)我真的不認為所謂人工智能前沿技術(shù)是什么，有人曾經(jīng)用過機器智能，這個走的路徑應(yīng)該說是一種結(jié)合，但更多的還是基于規(guī)則的多一點。

現(xiàn)在也有人稱之為數(shù)據(jù)智能，我們叫做計算智能，李老師也談到了，是有一個狹義的定義的，神經(jīng)網(wǎng)演化計算，曾經(jīng)用過的詞，我們?yōu)槭裁从眠@個東西呢，我個人還是覺得數(shù)據(jù)驅(qū)動的智能，最終呈現(xiàn)智能的方式，還是算出來的。實際上本質(zhì)上是把人的智能的問題，把它轉(zhuǎn)化成計算的問題，這個計算的問題要么是邏輯推理算的，有一個規(guī)則去驅(qū)動的，要么是通過數(shù)據(jù)處理的方式從數(shù)據(jù)里面弄的實際上它本身還不算是智能，所以我們?yōu)槭裁聪脒x擇智能，我覺得這也挺好，我覺得站在計算領(lǐng)域的角度總希望用這個角度來說話，我講大數(shù)據(jù)的時候我曾經(jīng)說過，我說大數(shù)據(jù)能夠出現(xiàn)是因為計算智能要解決它還得靠計算智能，甚至你說你可能有一個模型的方法出來能夠用量級的計算，但不管有多大的量級，沒有計算機，你人靠手算是永遠算不出來的，所以還得靠工具克服，因此還是計算問題，我們更傾向于把它叫做計算所產(chǎn)生的智能，當(dāng)然是基于數(shù)據(jù)所產(chǎn)生的智能。

第二個問題是機器計算機真的能擁有人的智能嗎？

在座的大部分都知道，它不可能，現(xiàn)在又有一個說法，類人智能和類腦智能，我們現(xiàn)在國家在搞腦計劃，有內(nèi)腦計算，我們現(xiàn)在的機器是沒有智能的，它是把人看成一個黑客，互聯(lián)網(wǎng)上提一個問題都有，這個智能是像人一樣，感知相對容易，認知且難且難，所以我覺得內(nèi)腦智能應(yīng)該是什么，我們真的把人的科學(xué)上的人腦的科學(xué)上的東西搞清楚了，然后模擬這個東西做一套東西，我覺得這叫內(nèi)腦智能，給你一個行為，好像他能解決問題，只不過是靠計算機強大的計算能力，把一個所謂的這種問題變成了一個數(shù)據(jù)處理的問題，計算的問題而已。所以我覺得類人智能發(fā)展大體分成三個層次，第一個是傳統(tǒng)的人工智能走的路，一個軟件加上一個知識庫，在上面做推理，這是一種。第二種如果說我們能夠形成一個自演化的知識庫，要靠數(shù)據(jù)的方式解決，我從數(shù)據(jù)里面能夠不能不斷的凝練一些東西出來，知識庫能夠自己去增長能不能做到這一點，我想如果能夠做到這個，就能夠形成第二層次的智能，這個東西要從我們數(shù)據(jù)匯集里面得到想要的結(jié)果。

我想第三個層次，能不能自演化的軟件，加上自演化的過程，大家知道我們現(xiàn)在所有的軟件，一旦寫好以后，編譯結(jié)束以后是改不了的，自演化的軟件能夠機器自己改代碼可能嗎？現(xiàn)在肯定是不可能的，但我們也嘗試，比如說用數(shù)據(jù)的方法來改它有大量的軟件片斷存在，我能不能在某種特定的環(huán)境之下，解決軟件的一些行為的改變，這是一個夢，這個夢是計算機科學(xué)家長期的夢，過去軟件智能化就是想解決這個問題，但實際上沒有做成，那是走的規(guī)則方式未來這個如果能夠解決，我覺得類腦智能就更像，機器能夠改代碼，現(xiàn)在我們組織一個團隊想嘗試這個事情。

機器自己能夠改代碼，我想在我有生之年看不到了，從我本意來講也不希望這個情況出現(xiàn)。如果真的這個情況出現(xiàn)了，世界就大亂了，好，謝謝。