邁向?qū)嵅匐A段，工業(yè)大數(shù)據(jù)落地有多難_數(shù)據(jù)分析師考試

“利用大數(shù)據(jù)分析系統(tǒng)，我們的工程師可以第一時(shí)間發(fā)現(xiàn)機(jī)器出現(xiàn)的異常，從而將受損失的產(chǎn)品數(shù)量降到最低?！敝行緡H資深技術(shù)顧問王邕保對(duì)大數(shù)據(jù)的作用深有感觸。在中芯國際這樣的大型制造型企業(yè)中，每天各個(gè)部門都面臨這很多基于數(shù)據(jù)的決策，從工業(yè)大數(shù)據(jù)中降低損失獲取價(jià)值是最大訴求。隨著“中國制造2025”和“互聯(lián)網(wǎng)+”國家戰(zhàn)略的提出，工業(yè)大數(shù)據(jù)的應(yīng)用，將成為企業(yè)提升生產(chǎn)力、競(jìng)爭(zhēng)力、創(chuàng)新力的關(guān)鍵要素，也是我國工業(yè)轉(zhuǎn)型必須面對(duì)的重要課題。

實(shí)時(shí)數(shù)據(jù)流形成

大數(shù)據(jù)已經(jīng)開始擺脫概念炒作的“霧霾”，開始走向?qū)嵅匐A段。近日，獨(dú)立調(diào)研機(jī)構(gòu)Vanson Bourne對(duì)11個(gè)國家中來自零售業(yè)、金融服務(wù)、醫(yī)療衛(wèi)生、銀行業(yè)、電信業(yè)、保險(xiǎn)業(yè)和政府的1000名IT管理者進(jìn)行了調(diào)查。調(diào)查結(jié)果顯示，大數(shù)據(jù)戰(zhàn)略為95%的中國企業(yè)帶來了收益，96%的中國大型企業(yè)已經(jīng)或計(jì)劃在未來一年內(nèi)實(shí)施大數(shù)據(jù)項(xiàng)目。最值得注意的是，中國區(qū)參與調(diào)查的全部企業(yè)正在或?qū)?huì)利用大數(shù)據(jù)進(jìn)行目標(biāo)更精準(zhǔn)的市場(chǎng)和銷售活動(dòng)。

那么，對(duì)于工業(yè)大數(shù)據(jù)而言，與其他行業(yè)應(yīng)用相比，又有哪些不同之處呢？

SAS全球行業(yè)最佳實(shí)踐高級(jí)總監(jiān)Thomas Roehm在接受《中國電子報(bào)》記者采訪時(shí)表示，制造業(yè)應(yīng)用大數(shù)據(jù)技術(shù)已有相當(dāng)長(zhǎng)的一段時(shí)間，不論是企業(yè)ERP系統(tǒng)還是生產(chǎn)車間的感應(yīng)器等設(shè)備采集的數(shù)據(jù)，都能進(jìn)行存儲(chǔ)和分析。需要指出的是，與之前相比，目前工業(yè)大數(shù)據(jù)技術(shù)應(yīng)用最大的變化就是數(shù)據(jù)采集的速度更快了，從而形成了實(shí)時(shí)數(shù)據(jù)流的分析，這樣帶來的好處是可以加速工業(yè)企業(yè)建立預(yù)測(cè)模型，例如，提高良品率分析的效率，從而能更加及時(shí)地采取預(yù)防措施提高良品率，減少浪費(fèi)并減低運(yùn)營(yíng)成本。當(dāng)然，在完善供應(yīng)鏈、提高產(chǎn)品質(zhì)量方面也會(huì)有促進(jìn)作用。

不過，Thomas Roehm也表示，無論是在未來的工業(yè)4.0階段還是智能制造領(lǐng)域，工業(yè)大數(shù)據(jù)最大的挑戰(zhàn)仍然是數(shù)據(jù)本身，特別是實(shí)時(shí)海量的數(shù)據(jù)如何更加快速采集、存儲(chǔ)和分析。

讓數(shù)據(jù)動(dòng)起來

在工業(yè)領(lǐng)域，隨著物聯(lián)網(wǎng)技術(shù)的深入應(yīng)用，將誕生越來越多的智能工廠，產(chǎn)品全生命周期中各個(gè)環(huán)節(jié)會(huì)產(chǎn)生大量的數(shù)據(jù)類型更為復(fù)雜的數(shù)據(jù)，例如半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。對(duì)于這些數(shù)據(jù)，不僅給數(shù)據(jù)存儲(chǔ)帶來挑戰(zhàn)，更給數(shù)據(jù)分析帶來前所未有的難題。

“關(guān)于大數(shù)據(jù)的存儲(chǔ)，市面上已經(jīng)有很多的解決方案，例如Gluster、Hadoop等等， 這方面技術(shù)已經(jīng)相對(duì)成熟。但是，數(shù)據(jù)存儲(chǔ)下來并不是我們應(yīng)用大數(shù)據(jù)技術(shù)的目的，如何分析和使用，讓大數(shù)據(jù)動(dòng)起來，為業(yè)務(wù)提供價(jià)值更為重要?！?CA Technologies Erwin研發(fā)經(jīng)理王錚在接受《中國電子報(bào)》記者采訪時(shí)表達(dá)了這樣的觀點(diǎn)。關(guān)于這方面，不同廠商提出了不同的方法。據(jù)介紹，基于多年的研究，CA Technologies認(rèn)為數(shù)據(jù)模型是非結(jié)構(gòu)化數(shù)據(jù)分析的基礎(chǔ)，因而，大數(shù)據(jù)分析的關(guān)鍵在于如何建立準(zhǔn)確的、并且能夠自我學(xué)習(xí)、不斷完善的數(shù)據(jù)模型。

“隨著非關(guān)系型數(shù)據(jù)庫的崛起與非結(jié)構(gòu)化數(shù)據(jù)量的增長(zhǎng)，企業(yè)的數(shù)據(jù)庫環(huán)境會(huì)逐步轉(zhuǎn)變?yōu)楫悩?gòu)混和環(huán)境，關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫共存。這對(duì)管理帶來了更大的挑戰(zhàn)，以前只需要幾個(gè)DBA就可以管理的中心型關(guān)系數(shù)據(jù)庫，現(xiàn)在則需要更多專家、尤其是非關(guān)系型數(shù)據(jù)庫專家的加入，并且投入更多管理工具來維護(hù)和監(jiān)控這個(gè)復(fù)雜的環(huán)境。” 王錚補(bǔ)充道。

達(dá)夢(mèng)數(shù)據(jù)庫有限公司董事長(zhǎng)馮玉才認(rèn)為平臺(tái)化將是大數(shù)據(jù)技術(shù)發(fā)展的趨勢(shì)。“近年來，數(shù)據(jù)量的規(guī)模化增長(zhǎng)和應(yīng)用場(chǎng)景的越發(fā)豐富, 使傳統(tǒng)IT架構(gòu)信息系統(tǒng)已無法滿足需要，企業(yè)級(jí)大數(shù)據(jù)管理不僅面臨著有效存儲(chǔ)、實(shí)時(shí)分析和再處理、以及各種信息安全風(fēng)險(xiǎn)等諸多挑戰(zhàn)，而且在大數(shù)據(jù)整合、管理、分析、呈現(xiàn)等各個(gè)環(huán)節(jié)，還需考慮所采購的不同工具之間的兼容、適配、以及建設(shè)和維護(hù)整套系統(tǒng)所帶來的成本壓力。因此，能夠提供從大數(shù)據(jù)存儲(chǔ)、交換、管理、到分析和呈現(xiàn)的一體化大數(shù)據(jù)管理服務(wù)的“大數(shù)據(jù)平臺(tái)”將成為未來市場(chǎng)的焦點(diǎn)。” 馮玉才表示。

需要“干凈”的數(shù)據(jù)

對(duì)于大數(shù)據(jù)分析，也不能完全迷信。用好大數(shù)據(jù)分析其前提則是數(shù)據(jù)質(zhì)量要高。如果從一堆錯(cuò)誤的數(shù)據(jù)里挖掘價(jià)值，那么得到的決策建議也是錯(cuò)誤的。

西安交大管理學(xué)院副院長(zhǎng)馮耕中向記者表示，大數(shù)據(jù)時(shí)代企業(yè)不僅要重視大數(shù)據(jù)技術(shù)應(yīng)用，更要重視數(shù)據(jù)質(zhì)量的管理。Thomas Roehm也認(rèn)為，數(shù)據(jù)分析一切都是源于數(shù)據(jù)本身，因此一定要保持?jǐn)?shù)據(jù)的清潔和干凈。

記者了解到，在工業(yè)生產(chǎn)中，傳感器搜集的數(shù)據(jù)就具有數(shù)據(jù)不純的問題，很多數(shù)據(jù)值是缺失的。例如，在進(jìn)行相關(guān)溫度測(cè)定的時(shí)候，有可能只是溫度達(dá)到一定的預(yù)值之后傳感器才可能進(jìn)行數(shù)據(jù)采集，從而導(dǎo)致最后收集到的數(shù)據(jù)是不完整的，這就帶來了問題。對(duì)此，不僅需要企業(yè)改善數(shù)據(jù)的純度，還需要對(duì)一些數(shù)據(jù)進(jìn)行注入和補(bǔ)充，通過平均值或者是標(biāo)準(zhǔn)差等方式更好的進(jìn)行建模分析，這樣才能得到正確的決策。

“當(dāng)企業(yè)將數(shù)據(jù)收集起來并放到數(shù)據(jù)倉庫之后，需要進(jìn)行數(shù)據(jù)質(zhì)量相關(guān)的研究和管理，比如說判斷數(shù)據(jù)值是否正確，是否出現(xiàn)了重復(fù)和冗余的情況。另外，還需要在數(shù)據(jù)庫里部署相應(yīng)的機(jī)制，這樣可以擴(kuò)展到針對(duì)所謂的事件流進(jìn)行實(shí)時(shí)的研究分析并發(fā)現(xiàn)相關(guān)數(shù)據(jù)的規(guī)律，從而進(jìn)一步判斷數(shù)據(jù)值的缺失或者數(shù)據(jù)值不準(zhǔn)確的情況，以此來保證收集數(shù)據(jù)的準(zhǔn)確性?！?Thomas Roehm這樣建議。

Thomas Roehm還提醒到，工業(yè)企業(yè)除了生產(chǎn)之外，在產(chǎn)品營(yíng)銷方面也會(huì)產(chǎn)生大量的非結(jié)構(gòu)化的數(shù)據(jù)，特別是來自類社交媒體的數(shù)據(jù)。例如，有一些人針對(duì)產(chǎn)品進(jìn)行點(diǎn)評(píng)，相關(guān)點(diǎn)評(píng)的真實(shí)性有時(shí)候是值得懷疑的，這個(gè)人有可能對(duì)這個(gè)產(chǎn)品不感冒，或者持否定的態(tài)度，他會(huì)一直發(fā)表針對(duì)該產(chǎn)品的一些負(fù)面觀點(diǎn)。那么如果企業(yè)把這種信息全部收集過來就有可能影響結(jié)果的真實(shí)度和客觀度，這就需要數(shù)據(jù)質(zhì)量管理，確保最終分析的數(shù)據(jù)是優(yōu)質(zhì)的。

高端人才成掣肘

工業(yè)大數(shù)據(jù)，涉及到兩個(gè)主體，一個(gè)是工業(yè)，另一個(gè)是大數(shù)據(jù)軟件技術(shù)。在工業(yè)領(lǐng)域應(yīng)用大數(shù)據(jù)技術(shù)對(duì)于人才的復(fù)合型要求更為突出。例如，做汽車行業(yè)的數(shù)據(jù)分析，不僅需要計(jì)算機(jī)、統(tǒng)計(jì)學(xué)、數(shù)學(xué)等知識(shí)，還要擁有豐富的汽車行業(yè)知識(shí)和經(jīng)驗(yàn)，通過這些知識(shí)經(jīng)驗(yàn)進(jìn)行建模，才能開發(fā)出合適的分析方法，從而找到數(shù)據(jù)的價(jià)值。

“高度多學(xué)科綜合性是大數(shù)據(jù)研究的特點(diǎn)?！敝袊茖W(xué)院院士徐宗本表示，“數(shù)據(jù)獲取與管理涉及管理、物理、電子與信息等學(xué)科；數(shù)據(jù)存儲(chǔ)與處理涉及計(jì)算機(jī)科學(xué)；數(shù)據(jù)分析與理解數(shù)據(jù)數(shù)學(xué)與統(tǒng)計(jì)學(xué)；大數(shù)據(jù)應(yīng)用則與各行各業(yè)相關(guān)學(xué)科關(guān)聯(lián)。要有技術(shù)儲(chǔ)備，還要解決好人才培養(yǎng)問題?！?/span>

和其他產(chǎn)業(yè)不同，大數(shù)據(jù)產(chǎn)業(yè)門檻更高。徐宗本認(rèn)為其原因有兩方面：一方面，大數(shù)據(jù)要做的事是將無形的、雜亂無章的數(shù)據(jù)進(jìn)行真正顯化，因此要有很高程度的科技儲(chǔ)備。另一方面，對(duì)于其他產(chǎn)業(yè)，技術(shù)相對(duì)成熟，只是需要將技術(shù)產(chǎn)業(yè)化。而大數(shù)據(jù)產(chǎn)業(yè)并不是技術(shù)已經(jīng)成熟的產(chǎn)業(yè)，甚至可以說科學(xué)基礎(chǔ)都還沒有成型，但技術(shù)變化又如此之快，需要將基礎(chǔ)研究、技術(shù)研究和產(chǎn)業(yè)化融為一體。因此，發(fā)展大數(shù)據(jù)產(chǎn)業(yè)，產(chǎn)學(xué)研一定要有效結(jié)合。

目前，人才培養(yǎng)的重要性已被產(chǎn)業(yè)界和教育界意識(shí)到。例如上海就已正式啟動(dòng)了“數(shù)據(jù)科學(xué)和大數(shù)據(jù)人才培養(yǎng)計(jì)劃”。上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室先期開展“大數(shù)據(jù)工程碩士項(xiàng)目”。同時(shí)，還面向在校大學(xué)生，建設(shè)一批研究生開放課程。除此之外，滬上大數(shù)據(jù)人才培養(yǎng)計(jì)劃還包括數(shù)據(jù)科學(xué)博士與博士后培養(yǎng)。

另外，阿里云攜手慧科教育集團(tuán)啟動(dòng)阿里云大學(xué)合作計(jì)劃AUCP（簡(jiǎn)稱合作計(jì)劃），聯(lián)合8 大高校開設(shè)云計(jì)算與數(shù)據(jù)科學(xué)專業(yè)方向，北航、浙大、復(fù)旦、上海交大、西安交大、南大、武大、華南理工等首批8 所高校，正式落戶合作計(jì)劃。按照規(guī)劃，未來3 年，阿里云與慧科教育集團(tuán)將在全國100 所高校完成專業(yè)課程開設(shè)，通過“互聯(lián)網(wǎng)+教育”的模式覆蓋300所大學(xué)的云計(jì)算與數(shù)據(jù)科學(xué)教育，培養(yǎng)和認(rèn)證5 萬名云計(jì)算和數(shù)據(jù)科學(xué)工作者。此前，亞信與北航、慧科教育集團(tuán)已達(dá)成戰(zhàn)略合作，推出大數(shù)據(jù)企業(yè)定制碩士培養(yǎng)項(xiàng)目，幫助亞信突破大數(shù)據(jù)人才瓶頸。