大數(shù)據(jù)分析挖掘技術及其決策應用

首先非常感謝成電給我們提供了這樣一個交流的平臺，讓世界各地的青年學者來到成電，進行學術與思想的深度交流。我是做數(shù)據(jù)挖掘和商務智能方面的研究，主要利用數(shù)據(jù)挖掘做經濟金融方面的應用，達到商務智能的目的。

　　我主要從三個方面來展開：影響未來的十大技術、大數(shù)據(jù)分析挖掘技術和大數(shù)據(jù)分析挖掘應用。

影響未來的十大技術

　　首先，我們講影響未來的十大技術，就是要讓大家了解世界發(fā)展的大趨勢，特別是技術發(fā)展大趨勢。了解世界大勢有助于大家在未來工作學習中把握方向、掌控未來。實際上，這十大技術不是我提出的，我只是總結了世界上最大的咨詢公司麥肯錫公司和Gartner集團的一些相關資料。

　　我們來看第一項，3D打印和個性化制造?，F(xiàn)在全世界都在談論工業(yè)4.0，探討制造業(yè)如何才能實現(xiàn)柔性化以滿足個性化，這個話題與3D技術是密切相關的。我在這里展示了一些案例，例如3D技術如何打造房屋、機械設備、飛機、汽車，甚至還可以打印人體生命器官。特別是在人體器官打印上，這是一個非常重要的進步，今后人體器官移植的來源可能主要依靠3D打印技術?？赡艽蠹乙仓?，目前人體器官移植的來源主要靠捐贈，但這里面供給遠遠低于需求，這就是造成了人體器官買賣存在著一個非常大的黑市。我想，如果3D技術能夠打造適合人體的生命器官，這將給廣大需要移植器官的病人一個千載難逢的機會，并在一定程度上可以遏制人體器官黑市的買賣。

　　第二個技術是量子計算，我們現(xiàn)在的計算技術的基本架構還在上個世紀五十年代的基礎之上做變革，但這樣的變革目前已經遇到了一個難以突破的瓶頸。盡管從上個世紀六十年代開始集成電路一直滿足摩爾定律，一個典型的例子就是集成電路越做越精細，即在集成電路芯片上集成的晶體管越來越多，芯片的體積卻越做越小。但實際上這是有極限的，因為我們不可能把芯片做到無限小。目前我們就處于這個極限的當口，怎么把極限打破，量子計算是一個重要的核心技術。

　　第三個就是云計算。這是一個幾年前熱炒的概念，時間關系我就不具體展開。這里舉一個例子就是阿里巴巴“雙十一”的促銷，2014年阿里巴巴“雙十一”單日成交量達到570億，從表面上看，這似乎是一個商業(yè)促銷計劃，但實際上是新經濟的崛起，背后的技術支撐就是我們的所說的云計算平臺。試想，一天之內這么大的交易量，這么高的點擊率，如何支持這樣的計算量保證不出差錯并且服務器不宕機，支持這種交易的背后，依靠的是云計算平臺。

　　第四個就是大數(shù)據(jù)，這也是我們今天重點要講的內容。因為我來自管理學院，我今天講的側重點就是大數(shù)據(jù)，以及它在管理決策方面的一些實際應用。那我們先來看一看，大數(shù)據(jù)提出的時間點。

　　我們都知道雅虎公司1994年成立，1996年上市，它最早做的工作就是把互聯(lián)網上的所有網頁分類整理，因為當時的互聯(lián)網混亂無序，它所做的這個工作取得了極大的成功，成為上個世紀90年代中期的風云企業(yè)，那個時候它是大學畢業(yè)生非常想去的一個公司。但那個年代我們只能被動地看網頁，不能與網上的內容進行互動，就像傳統(tǒng)電視節(jié)目一樣只能被動的觀看，我們稱為Web1.0的時代，雅虎的鼎盛時期是8年，他在2004年被1998年成立的Google公司所超越，因為Google公司于2004年成功上市。其實，Google所做的工作很簡單，就是主題詞的集合，還沒有跨越一個時代，我們把它叫做Web1.5時代，它的鼎盛時期也是8年，Google公司的風頭被2012年上市的Facebook(臉譜公司)所蓋過，由于它的出現(xiàn)，實現(xiàn)了網絡用戶之間以及網絡用戶與網站服務提供商之間的良性互動，我們稱它為Web2.0的時代，這是一個以社交媒體為頂峰的時代。今天，我們每個人都在這個網絡空間中進行互動，例如利用微博、微信來實現(xiàn)互動。如果按照8年鼎盛期的規(guī)律，那我們試想下一個八年是誰的天下？是大數(shù)據(jù)的天下還是Web3.0的時代，還是其他的什么情況呢？我的猜測是利用大數(shù)據(jù)，讓你的計算機和移動互聯(lián)設備更加“懂你”。

　　第五個技術是，新一代的移動互聯(lián)網。從1994年中國科學院的第一根互聯(lián)網專線聯(lián)通國際互聯(lián)網開始，隨著信息技術的飛躍發(fā)展，我們從PC時代逐漸發(fā)展到移動互聯(lián)時代?。今天，我們每個人幾乎都是移動互聯(lián)的主體，在座的每一位學者都可以通過你的手機、IPAD、只能穿戴式設備與互聯(lián)網進行連接，與地球村的朋友進行實時互動。因此，新一代移動互聯(lián)網是下一個互聯(lián)網金礦，也是一個不可阻擋的潮流。

　　第六個就是物聯(lián)網。物聯(lián)網技術于2008年前后在中國熱得一塌糊涂。隨著信息技術的不斷發(fā)展，現(xiàn)在的概念已經從物聯(lián)網(Internet of Things, IoT)進化到萬物互聯(lián)(Internet of Everything, IoE)，最終要實現(xiàn)人與人、物和物、人與物的高度互聯(lián)。

　　第七個就是先進機器人?，F(xiàn)在發(fā)達國家的勞動力特別貴，中國面臨的老齡化問題非常嚴重，未來的勞動力如何解決？先進機器人很可能是最好的替代品。

　　第八個技術是與我們人體密切相關的下一代基因組。這里面許多學生物的同事比較了解，里面有很多高科技的東西。例如，美國Apple公司的CEO，喬布斯先生患胰腺癌后還能延長2年以上壽命就是基因組的功勞。

　　第九個就是移動終端技術。在座的每一位手上都會有很多終端的設備，例如，手機、iPad、智能手表等穿戴式設備。這也是一個大趨勢，未來很多工作大家都在手頭上就做完了，這是移動終端技術帶來的便捷性。

　　最后一個就是增強現(xiàn)實技術。增強現(xiàn)實是虛擬現(xiàn)實技術的改進版，利用一些可穿戴設備，我們可以進入到虛擬空間做現(xiàn)實世界想做的事情。由于時間關系，有興趣的同事可以私下去找資料去詳細了解，這里不再詳細展開。

大數(shù)據(jù)分析挖掘技術

　　大家可能知道，2012年3月29日美國奧巴馬政府公布了“大數(shù)據(jù)研發(fā)計劃”，這個計劃的目標是改進現(xiàn)有人們從海量和復雜的數(shù)據(jù)中獲取知識的能力，從而加速美國在科學與工程領域領先的步伐，增強國家安全，轉變現(xiàn)有的教學和學習方式。這是繼美國克林頓政府1993年開始“信息高速公路”計劃的又一個重大計劃，意在搶占新的高科技的最高點。從那時起，全球就開始熱炒大數(shù)據(jù)的概念。實際上，大數(shù)據(jù)包括的內容很多，主要包括4大類：互聯(lián)網大數(shù)據(jù)、國家大數(shù)據(jù)企業(yè)大數(shù)據(jù)和個人大數(shù)據(jù)。

　　大數(shù)據(jù)除了數(shù)據(jù)量大之外，數(shù)據(jù)的結構也是日趨復雜，還有很多半結構、非結構化的數(shù)據(jù)。目前，對于大數(shù)據(jù)的特征有有3V、4V和5V之分?！?/span>3V”就是前面說到的體量大(Volume)、類型多(Variety)、速度快(Velocity)；“4V”在3V基礎上增加了價值性(Value)；而“5V”是在4V基礎上增加了準確性(Veracity)。這里我們一一展開加以說明，體量大好理解，就是數(shù)據(jù)規(guī)模很大，基本上都是TB級為基本單位；類型多是指大數(shù)據(jù)包括各種格式和形態(tài)的數(shù)據(jù)；速度快是指很多大數(shù)據(jù)需要在一定的時間限度下得到及時處理。價值性是指大數(shù)據(jù)包含很多深度的價值，大數(shù)據(jù)分析挖掘和利用將帶來巨大的商業(yè)價值。例如，一個單獨的數(shù)據(jù)就像超市里的一個購物小票，幾乎是沒有價值的，但是匯聚在一起就可能產生了巨大的價值，沃爾瑪“啤酒與尿布”就是一個典型案例。再一個就是準確性，即大數(shù)據(jù)處理的結果要保證一定的準確性。例如，有一段兩個小時監(jiān)控視頻，我們要找到其中一個關鍵犯罪證據(jù)，可能只有其中5-6秒的圖像是有價值的。我們怎么找到這5-6秒，那就是我們大數(shù)據(jù)分析和挖掘要發(fā)揮作用的地方。

　　接下來，我們要考慮當前和未來怎么來應對大數(shù)據(jù)，我們現(xiàn)在的架構還是分布式的計算。當前有軟硬件的應對方案，在硬件上基本是應用PC服務器集群，比如，Google公司有百萬臺的服務器集群，國內的阿里巴巴、騰訊和百度都有大量的PC服務器集群。近些年，阿里巴巴通過云計算平臺的建設，目前應該建成了世界上最大的PC服務器集群，主要通過異構硬件的整合，把大型機、小型機和PC機進行整合，實現(xiàn)虛擬化計算能力。在軟件上主要采取軟件虛擬化技術，通過應用虛擬化和程序語言虛擬化。這些技術可能很多在這個領域的同事比我更了解，我這里也不展開講。

　　接下來應對大數(shù)據(jù)的一個工具就是內存計算。我們說大數(shù)據(jù)的價值之一就是速度要快，那怎么來實現(xiàn)速度快？加速數(shù)據(jù)的訪問就是內存計算可以發(fā)揮作用的一個重要場合。傳統(tǒng)的通過磁盤讀取時需要五個毫秒，而通過內存的讀取只需要五個納秒?，F(xiàn)在我們用多核內存讀取數(shù)據(jù)，就是大數(shù)據(jù)的一個重要處理方法。另一個就是最小化數(shù)據(jù)的傳輸，未來的數(shù)據(jù)傳輸方式將要改變傳統(tǒng)從應用層到數(shù)據(jù)層的弊端，改為從數(shù)據(jù)層再到應用層。這里HANA是SAP公司推出的一個高性能分析查詢的一個具體應用，也是內存計算的典型案例。

　　再一個就是數(shù)據(jù)分布式處理和挖掘的軟件。像報表、查詢、多維分析、警報等都可以比較容易地實現(xiàn)，但預測、預警、優(yōu)化等怎么來實現(xiàn)？大數(shù)據(jù)分析挖掘還存在著很多的瓶頸。

　　最后一個大數(shù)據(jù)處理技術就是分布式云分析的數(shù)據(jù)挖掘引擎。我們傳統(tǒng)分析挖掘?引擎是以數(shù)據(jù)找算法，排隊等待計算，速度緩慢。那我們未來面對分布式云分析的大數(shù)據(jù)挖掘引擎，是用算法去找數(shù)據(jù)，即云端程序下沉找到數(shù)據(jù)在客戶端進行計算以后，再把結果返回存到云端。這就是我們未來從事大數(shù)據(jù)分析挖掘要體現(xiàn)的一個重大變化。實際上，大數(shù)據(jù)概念炒得很熱，真正能在未來大數(shù)據(jù)中發(fā)揮作用的是我們的數(shù)據(jù)分析師和數(shù)據(jù)挖掘專家。他們是大數(shù)據(jù)時代真正的淘金者。為什么要這樣講？我們講到剛才兩小時的視頻中你要找到5-6秒的有用信息。怎么找？那就是大數(shù)據(jù)分析和挖掘發(fā)揮作用的地方。

大數(shù)據(jù)的具體應用

　　大數(shù)據(jù)如何應用，是每個人都應該關注的問題?？梢院敛豢鋸埖恼f，大數(shù)據(jù)可以提升政府的治理能力，改進企業(yè)的決策水平，改變我們每一個人的生活。

　　首先，從國家角度，大數(shù)據(jù)可以治國。我們這里舉“克強指數(shù)”的例子。十八大以來，李克強總理對于經濟的發(fā)展情況除了聽取相關政府職能部門的匯報以外，他自己主要看三個數(shù)據(jù)，一個是供電量，一個是貸款發(fā)放量，一個是鐵路貨運量。這三個量與我們國家的經濟增長，工業(yè)企業(yè)利潤增長，都是高度相關的。這三個量看起來與GDP增長關系不大，但很關鍵，讓我們的總理很容易就掌握了經濟發(fā)展的情況，看來我們的總理是大數(shù)據(jù)時代的弄潮者。

　　大數(shù)據(jù)在政府的應用還有很多，比如醫(yī)療衛(wèi)生方面，利用網上商店藥品的銷售，可以做某些地區(qū)的流行疾病的預測。一個典型例子就是，通過淘寶網的數(shù)據(jù)來看購買板藍根的情況，通過阿里巴巴的數(shù)據(jù)信息，我們可以成功預測禽流感疫情和流行區(qū)域。另外，公共安全、交通、反恐、應急、防洪防旱都可以用大數(shù)據(jù)來做。

　　在企業(yè)里，典型應用就是在電子商務領域中的精準營銷。一個體驗就是你在網上買書或買商品之后，經常你會發(fā)現(xiàn)第二天就會收到一些與你買的物品相關聯(lián)的商品促銷信息，商家利用大數(shù)據(jù)分析掌握了你的需求，從而實現(xiàn)精準營銷。還有一個典型的例子就是互聯(lián)網金融。大家在淘寶、天貓上購買商品，這些記錄幫助阿里巴巴建立起了一個上億人的互聯(lián)網信用記錄。根據(jù)這個網絡信用技術，阿里巴巴現(xiàn)在開辟了一個做金融服務公司。也許，好多年后，阿里巴巴讓人引以為豪的不是它的電子商務，而是他的互聯(lián)網金融。

　　另外，企業(yè)中的很多制造業(yè)，包括能源監(jiān)控、人員調度、安全監(jiān)控、物流通信等都有大量的大數(shù)據(jù)應用空間。在電子商務領域買家分析廣告投放優(yōu)化、行業(yè)市場的份額等。

　　對于個人來講，很多做大數(shù)據(jù)挖掘的人都見過關于Google關于電影票房預測的例子。電影票房預測由于有很多不確定性，其實很困難。但是Google公司只是利用了網上搜索電影宣傳片的搜索量，就很好地預測了一部新電影的票房。

　　在大數(shù)據(jù)時代，我們如何大數(shù)據(jù)情景下的決策。美國邁阿密大學工程學院院長、美國工程院院士James Tien等總結出了大數(shù)據(jù)時代決策問題的一些特點，指出：全球供應鏈管理問題、全球經濟監(jiān)測預測預警與政策仿真系統(tǒng)、全球風險下金融市場投資決策問題、大型城市交通決策支持系統(tǒng)、大型城市社會管理問題、大型城市醫(yī)院管理決策支持系統(tǒng)、大型城市應急管理決策問題、大型城市物流配送決策支持系統(tǒng)、大型城市環(huán)境監(jiān)測決策支持系統(tǒng)、大型交易平臺數(shù)據(jù)挖掘問題、Social Media Data挖掘問題、Social Business、決策劇場等問題是未來從事大數(shù)據(jù)決策領域的一些重要問題。

　　最后，我借助李嘉誠曾經說過的一段話來結束我今天的演講。他說說：“雞蛋，從外打破是食物，從內打破是生命。人生亦是，從外打破是壓力，從內打破是成長。如果你等待別人從外打破你，那么你注定要成為別人的食物；如果你自己能從內打破，那么你會發(fā)現(xiàn)自己的成長相當于一種重生”。所以說身處在大數(shù)據(jù)時代，我們是被從外面打破成為別人的食物，還是從內部打破重生成長，成為時代的引領者？我想對于在座的各位，這個打破就是我們自己就趕緊從國外回來。