中國制造2025變革，背后的大數(shù)據(jù)來龍去脈

大數(shù)據(jù)的成長路徑一定是個長期成長過程，實用分析工具與先進分析理念，真正釋放數(shù)字化分析的力量，由人類軌跡產(chǎn)生的數(shù)據(jù)，與機器自動產(chǎn)生的數(shù)據(jù)得出洞見，從管理決策推導運營方案，最終實現(xiàn)數(shù)據(jù)價值提升。無論是為促銷產(chǎn)品還是作為戰(zhàn)略目標，大數(shù)據(jù)已然成為很多公司和機構過度使用的術語。筆者認為，數(shù)據(jù)基本就是兩類，一類是人類軌跡產(chǎn)生的數(shù)據(jù)，另一類機器自動產(chǎn)生的數(shù)據(jù)。這兩類數(shù)據(jù)構成了我們今天的大數(shù)據(jù)多結構化數(shù)據(jù)源。大數(shù)據(jù)不僅要關注實際數(shù)據(jù)量的多少，而最重要的是關注在大數(shù)據(jù)的處理方法，讓數(shù)據(jù)產(chǎn)生巨大的創(chuàng)新價值。這也就是為何以谷歌為代表的技術創(chuàng)新類的公司會在未來成為全球市值最高的公司的核心原因之一。

實現(xiàn)工業(yè)4.0或中國制造2025的前提之一是構建智能工廠，其核心要素包括了信息物理系統(tǒng)（CPS），物聯(lián)網(wǎng)（IOT），智能認知，社交媒體，云計算與移動，以及M2M。智能工廠構成了工業(yè)4.0的一個關鍵特征。智能工廠將從現(xiàn)在通過中央控制中的模式轉向通過自行優(yōu)化和控制其制造流程來實現(xiàn)。

柔性生產(chǎn)的三個方面

1.人、機器和資源如同在一個社交網(wǎng)絡里自然地相互溝通協(xié)作。

2.生產(chǎn)出來的智能產(chǎn)品能夠理解自己被制造的細節(jié)以及將如何用。它們積極協(xié)助生產(chǎn)過程，回答諸如“我是什么時候被制造的”“哪組參數(shù)應被用來處理我”“我應該被傳送到哪”等等問題。

3.機器和產(chǎn)品之間的數(shù)據(jù)傳輸將通過使用微處理器、存儲裝置、傳感器和發(fā)送器來實現(xiàn)。這些裝置將被嵌入至幾乎所有可想象的機器、待加工產(chǎn)品、材料、智能工具和用于組織數(shù)據(jù)流的新型軟件，由此實現(xiàn)產(chǎn)品和機器的相互通信并和交換數(shù)據(jù)。

大數(shù)據(jù)在智能工業(yè)的特征

1.處理方法比數(shù)據(jù)本身值錢

無論是為促銷產(chǎn)品還是作為戰(zhàn)略目標的方式，大數(shù)據(jù)已然成為很多公司和機構過度使用的術語。2012年高德納（Gartner）給出德大數(shù)據(jù)定義里面，特別強調(diào)大數(shù)據(jù)是多樣化信息資產(chǎn)，不僅關注實際數(shù)據(jù)，而最最重要的是關注大數(shù)據(jù)處理方法。數(shù)據(jù)量大還是量小本身并不是判斷大數(shù)據(jù)價值的核心指標，而數(shù)據(jù)的實時性（velocity）和多元性（variety）應該對大數(shù)據(jù)的定義和價值更具直接的影響。

2.多結構化數(shù)據(jù)：包含人類和機器數(shù)據(jù)

我們大多數(shù)人會認為大數(shù)據(jù)包含了非結構化數(shù)據(jù)與結構化數(shù)據(jù)。我更提倡大數(shù)據(jù)是“多結構化數(shù)據(jù)”的說法，無論是自由文本還是關系數(shù)據(jù)庫等，大數(shù)據(jù)可以由人類產(chǎn)生的數(shù)據(jù)足跡與機器自動生產(chǎn)的數(shù)據(jù)兩大板塊形成。大數(shù)據(jù)的工具和技術能夠為不同的結構化數(shù)據(jù)服務。在信息化與工業(yè)化融合的過程與商業(yè)活動中，我們需要加強機器數(shù)據(jù)的采集，分析，并且把此項工作作為智能制造的核心工作之一。

3.大數(shù)據(jù)的機器數(shù)據(jù)讓我們的業(yè)務變得透明

在現(xiàn)代工業(yè)供應鏈中，隨著大數(shù)據(jù)應用的普及，我們可以感受到了從采購，生產(chǎn)，物流與銷售市場都是大數(shù)據(jù)的戰(zhàn)場。大數(shù)據(jù)可以幫助我們實現(xiàn)客戶的分析和挖掘，它的應用場景包括了實時核心，交易，服務，后臺服務等。通過的載體包括了手機，傳感器，穿戴設備，3D打印機和平板電腦等。傳感器數(shù)據(jù)屬于工業(yè)大數(shù)據(jù)類別之一，從這些機器數(shù)據(jù)中，我們可以保障生產(chǎn)，滿足法律法規(guī)的要求，提升環(huán)保，改善客戶服務。通過幫我們找到已經(jīng)發(fā)生的問題做好協(xié)助預測相類似問題未來重復發(fā)生的幾率與時間。

大數(shù)據(jù)的挑戰(zhàn)

1.用理性了解大數(shù)據(jù)

作為與工業(yè)4.0聯(lián)系最為緊密的兩化融合任務，中國制造2015其核心是生產(chǎn)過程、產(chǎn)品的智能化，以及互聯(lián)網(wǎng)與制造業(yè)的融。數(shù)據(jù)的靈活處理性成為第一個焦點。隨著傳統(tǒng)數(shù)據(jù)庫(database)和數(shù)據(jù)倉庫(datawarehouse)的運行越來越緩慢，并很難滿足企業(yè)業(yè)務的發(fā)展需要，數(shù)據(jù)的靈活性就成為了推動大數(shù)據(jù)技術發(fā)展的一個重要推動力。

2.從Hadoop走向數(shù)據(jù)湖

2015年的大數(shù)據(jù)領域被看作是“數(shù)據(jù)湖(datalake)”與“數(shù)據(jù)藻澤”的狀態(tài)之爭。無論學術杰如何去詮釋，其核心是強調(diào)一種基于對象的數(shù)據(jù)存儲方式將收集來的數(shù)據(jù)以其最原生的格式(多結構化的)存儲下來留作日后使用。“數(shù)據(jù)湖”具有很高的價值定位，它代表了一種可擴展的基礎架構，非常經(jīng)濟且超級靈活。

3.自主大數(shù)據(jù)數(shù)據(jù)服務成為主流

隨著大數(shù)據(jù)工具和服務的發(fā)展，2015年，IT行業(yè)將逐漸緩解發(fā)展瓶頸的局面，許多商業(yè)用戶和數(shù)據(jù)科學家將會借助相關工具和服務訪問大量數(shù)據(jù)。自助服務大數(shù)據(jù)將成為IT行業(yè)的一種趨勢，它允許商業(yè)用戶可以通過自助服務接觸大數(shù)據(jù)。自助服務還可以幫助開發(fā)者、數(shù)據(jù)科學家和數(shù)據(jù)分析師直接進行數(shù)據(jù)探索和處理工作。當我們了解大數(shù)據(jù)的時候，業(yè)務的價值和IT的成本是我們主要衡量未來IT的標準，業(yè)務價值驅(qū)動大數(shù)據(jù)創(chuàng)新。Hadoop不再成為我們討論的大數(shù)據(jù)主題。我們需要了解更多的是業(yè)務創(chuàng)新，數(shù)據(jù)變現(xiàn)和業(yè)務場景的探索。

下一代的大數(shù)據(jù)體系——數(shù)據(jù)湖

每個數(shù)據(jù)項都應有清楚的追蹤，可追溯其源系統(tǒng)以及該數(shù)據(jù)項產(chǎn)生的時間等信息。2010年JamesDixon以此理念，創(chuàng)造了數(shù)據(jù)湖（dataLake）這個術語，當時他打算將數(shù)據(jù)湖泊作為單一數(shù)據(jù)源來使用，而多數(shù)據(jù)源將形成“水景園”。盡管還是最初的構想，如今最普遍的應用是將數(shù)據(jù)湖泊當做許多數(shù)據(jù)源的結合?，F(xiàn)有數(shù)據(jù)倉庫在分析能力的缺失，業(yè)務對數(shù)據(jù)獲取能力的提升，高級分析方法的創(chuàng)新是一種必然。

數(shù)據(jù)湖泊是近十年出現(xiàn)的術語，用來描述數(shù)據(jù)世界中，數(shù)據(jù)分析管道的重要組成部分。作為一個信息系統(tǒng)，數(shù)據(jù)湖泊是大型的基于對象的存儲庫，數(shù)據(jù)以其原始格式存儲。通過全面的監(jiān)控和分析，通過數(shù)據(jù)的分析模型的建立，學習，模擬，行動，最終實現(xiàn)內(nèi)容認知的智能。有并行體系以及無需移動數(shù)據(jù)即可對數(shù)據(jù)進行計算操作的明顯特點。

特點1：數(shù)據(jù)湖泊是一個并行體系，能夠存儲大數(shù)據(jù)

數(shù)據(jù)湖泊的每個數(shù)據(jù)元素都有獨特的標識符，并有一組擴展的元數(shù)據(jù)標簽。

數(shù)據(jù)湖泊以數(shù)據(jù)源提供數(shù)據(jù)時的原格式（不論原格式是什么）存儲原始數(shù)據(jù)。沒有預設的數(shù)據(jù)模式，每個數(shù)據(jù)源都可以使用任何模式。由消費者根據(jù)自己的目的來理解數(shù)據(jù)。

特點2：數(shù)據(jù)湖體系無需移動數(shù)據(jù)即可對數(shù)據(jù)進行計算操作

通常數(shù)據(jù)倉庫一方面要清理，一方面還要聚合數(shù)據(jù)，從而使分析更加容易。但科學家往往也反對這點，因為聚合意味著丟棄數(shù)據(jù)。你不知道今天或者幾年以后哪些數(shù)據(jù)會有價值，所以數(shù)據(jù)湖泊應包含所有數(shù)據(jù)。數(shù)據(jù)湖泊使用平坦架構存儲數(shù)據(jù)。這個理念是建立一個單一存儲區(qū)，用來存儲組織內(nèi)任何人員可能需要分析的所有原始數(shù)據(jù)。通常人們使用Hadoop對湖泊內(nèi)的數(shù)據(jù)進行各種操作，但這個概念比Hadoop要寬泛的多。

總結

大數(shù)據(jù)技術自身在快速的發(fā)展，從1.0到大數(shù)據(jù)3.0的數(shù)據(jù)湖時代，我們要理性的看待大數(shù)據(jù)，在關注數(shù)據(jù)量的同時，應該更加重視數(shù)據(jù)分析的能力和方法。筆者認為，實用分析工具與先進分析理念，真正釋放數(shù)字化分析的力量，由人類軌跡產(chǎn)生的數(shù)據(jù)，與機器自動產(chǎn)生的數(shù)據(jù)得出洞見，從管理決策推導運營方案，最終實現(xiàn)數(shù)據(jù)價值提升。

業(yè)界有很多大數(shù)據(jù)的技術公司提供不同的技術，其中也包含了一大堆的開源軟件開發(fā)出來的。大數(shù)據(jù)的成長路徑一定是個長期成長過程。在不同的階段，來打造不同的IT能力，我們倡導的是開放式大數(shù)據(jù)架構。不僅僅為大的數(shù)據(jù)集服務，同時企業(yè)中業(yè)務人員有很多小數(shù)據(jù)集的分析和探索。在很好滿足業(yè)務的不同需求下，大數(shù)據(jù)一定是一種混搭技術，利用現(xiàn)有的IT投資來達到整個回報的最大化。特別在中國智能制造2025的變革中，數(shù)據(jù)湖不會是數(shù)據(jù)倉庫和BI平臺的終結者，但數(shù)據(jù)湖一定是未來企業(yè)數(shù)據(jù)技術（DT）的核心紐帶，成為引導中國制造2025變革的數(shù)字寵兒。