工業(yè)大數(shù)據(jù)的理論體系

大數(shù)據(jù)的課程我講過多次。除了給專業(yè)人人士講，我個(gè)人幾乎都不滿意。有個(gè)問題一直困惑著我：“工業(yè)大數(shù)據(jù)”到底該講什么，才不至于以偏概全？或者說，理論體系應(yīng)該包含哪些內(nèi)容？ 下面是我想到的一點(diǎn)原則性的觀點(diǎn)——可以從哪些視角看待它。

1、工業(yè)大數(shù)據(jù)的意義：從DIKW體系的角度看

我用DIKW體系的觀點(diǎn)解釋大數(shù)據(jù)的意義：將人類帶入智能社會。大數(shù)據(jù)夠把人類帶入智能社會的核心優(yōu)勢在于“知識”的生產(chǎn)和應(yīng)用。我們把智能理解為“感知、決策和執(zhí)行”的統(tǒng)一，則大數(shù)據(jù)能很好地提供“感知”和“決策”所需要的知識。

2、大數(shù)據(jù)與業(yè)務(wù)系統(tǒng)的關(guān)系：概念。

很多人把數(shù)據(jù)和大數(shù)據(jù)混淆起來。一個(gè)典型的表現(xiàn)是把業(yè)務(wù)系統(tǒng)（如MES、ERP）的功能說成大數(shù)據(jù)的應(yīng)用，似乎只要數(shù)據(jù)都是大數(shù)據(jù)。在我看來業(yè)務(wù)系統(tǒng)看數(shù)據(jù)，側(cè)重?cái)?shù)據(jù)用于完成特定業(yè)務(wù)的一次利用。數(shù)據(jù)作為信息的載體，數(shù)據(jù)的生命周期相對較短。

大數(shù)據(jù)則側(cè)重?cái)?shù)據(jù)的二次利用或重復(fù)利用，數(shù)據(jù)主要作為知識的載體。當(dāng)然：大數(shù)據(jù)主要由業(yè)務(wù)系統(tǒng)（如ERP、MES）產(chǎn)生、積累，并最終服務(wù)于業(yè)務(wù)系統(tǒng)。

3、大數(shù)據(jù)的特征：甲乙方的視角

甲乙雙方看待大數(shù)據(jù)的特征是不同的。

其中，甲方就是希望通過大數(shù)據(jù)創(chuàng)造價(jià)值、改進(jìn)業(yè)務(wù)的業(yè)務(wù)人員，而乙方是幫助甲方實(shí)現(xiàn)目標(biāo)的IT技術(shù)人員。

大數(shù)據(jù)的甲方視角：有三個(gè)特征（樣本=全體等，后面詳細(xì)展開），都與獲取知識相關(guān)。而獲取了知識才能創(chuàng)造價(jià)值。大數(shù)據(jù)的乙方視角即“4V特征”。這四個(gè)特征關(guān)注的是IT技術(shù)人員數(shù)據(jù)處理的困難。

顯然，乙方的工作應(yīng)該服從甲方的業(yè)務(wù)需求。從這個(gè)意義上講，乙方可能遇到4V涉及的困難、也可能遇不到，視甲方的實(shí)際情況而定。我講的課主要是甲方視角，而IT專業(yè)人士講的課主要是乙方視角。

4、大數(shù)據(jù)與知識獲取的可行性（甲方視角、大數(shù)據(jù)特征）

（從甲方看）大數(shù)據(jù)的價(jià)值在于產(chǎn)生知識。人們經(jīng)常提到的大數(shù)據(jù)的幾個(gè)特征（樣本=全體、相關(guān)非因果、混雜性），都可以歸結(jié)為便于獲得知識。

l 樣本=全體。解決知識的存在性問題。人類的一切知識都來源于歷史；如果大數(shù)據(jù)能夠完整地記錄歷史，就會蘊(yùn)含知識。這一點(diǎn)強(qiáng)調(diào)的是樣本分布的完整性。

l 不拘泥于因果。一般說法的是“相關(guān)關(guān)系而非因果關(guān)系”，而我將其改為“不拘泥于因果”。人類的知識有很多種，一種是說不出來的“默會知識”、一種是說的清楚的知識；而說得清楚的知識又包括理論知識和經(jīng)驗(yàn)知識。其中，理論知識是講究因果的；如果有把知識拘泥于因果則是不完備的。所以，“不拘泥于因果”解決了知識完的整性問題。

l 混雜性。本質(zhì)是知識的可獲得、可驗(yàn)證性，保證知識的質(zhì)量。獲得知識的一個(gè)本質(zhì)要求是區(qū)分偶然聯(lián)系和非偶然聯(lián)系?；祀s性可以用于解決這個(gè)問題。

換句話說，這三個(gè)特點(diǎn)保證了知識的存在性、完整性和可獲得性。這就是大數(shù)據(jù)的意義所在。我們知道：智能制造需要知識才能形成閉環(huán)、互聯(lián)網(wǎng)可以讓知識的價(jià)值放大。所以，在智能制造、工業(yè)互聯(lián)網(wǎng)的背景下，大數(shù)據(jù)的價(jià)值猛增。

5、知識類型的角度：多角度觀察

我一直認(rèn)為，大數(shù)據(jù)的價(jià)值在于獲得、存儲和運(yùn)用知識的能力。而“知識”可以分類——可以從多個(gè)維度來看：

l 默會知識、經(jīng)驗(yàn)知識、理論知識。

默會知識就是說不清楚、難以變成程序代碼的感性知識。例如，從圖像中人是一個(gè)人、下棋時(shí)對“勢”的理解，都是感性知識。

感性知識之外的經(jīng)驗(yàn)知識。這些知識說得清楚怎么做，不一定需要說明原因。如某種方法較好、哪條路走的快等——實(shí)際上好就是好了，不一定需要解釋。

理論知識就是說得清楚原因、可以解釋、甚至可計(jì)算的知識。

如前所述，大數(shù)據(jù)的優(yōu)勢在于可以更容易地獲得默會和經(jīng)驗(yàn)知識——這在過去是很難的。過去計(jì)算機(jī)用到的知識，往往需要人們寫成代碼——但這只是人們大腦中的一部分知識。單純依靠理性知識，難以實(shí)現(xiàn)智能化。

l 正向知識（建模獲得）、逆向知識（根因分析）。

從原因到結(jié)果的知識，我稱其為正向知識。數(shù)學(xué)建模過程就是建立正向知識。從結(jié)果到原因的知識，我稱為逆向知識。就是所謂的根因分析。

l 聯(lián)系型知識、設(shè)計(jì)型知識。

因果知識、感性知識等體現(xiàn)的都是信息之間的聯(lián)系。而設(shè)計(jì)型的知識指的是產(chǎn)品、工藝設(shè)計(jì)等。設(shè)計(jì)型知識占用的計(jì)算機(jī)存儲量很大。在大數(shù)據(jù)時(shí)代，設(shè)計(jì)型知識容易存儲、處理了。

6、大數(shù)據(jù)獲得知識的途徑：承載知識和提煉知識

用大數(shù)據(jù)獲得知識有兩種方式：一種就是數(shù)據(jù)本身就承載知識；一種是數(shù)據(jù)承載的是信息、需要從數(shù)據(jù)提煉出知識。

第一種典型的就是產(chǎn)品設(shè)計(jì)數(shù)據(jù)、各種標(biāo)準(zhǔn)、成功案例等?？焖夙憫?yīng)、個(gè)性化定制的前提和手段，就是這種知識的共享。

對于這些知識，有時(shí)候會面臨的困難之一是如何找到它們。而找到這些知識本身就可能是需要獲得的知識。典型的就是谷歌搜索。AI算法對解決這個(gè)問題可能是有用的。

第二種知識就是前面說的、通過建?；蚋蚍治龅玫降闹R。工業(yè)上對知識是有明確需求的、以至于難以達(dá)到；但機(jī)理卻是相對明確的。我談的很多方法論，其實(shí)就是在這兩個(gè)方面的。下面還會提到。

7、通過大數(shù)據(jù)獲得價(jià)值：轉(zhuǎn)型升級才能創(chuàng)造藍(lán)海

從某種意義上說，大數(shù)據(jù)創(chuàng)造價(jià)值就是促進(jìn)知識創(chuàng)造價(jià)值。這些知識要用在提高質(zhì)量、效率，降低成本等具體問題上，才能創(chuàng)造價(jià)值。

人們遇到的真正困惑，或許是如何找到這些“問題”。這些問題大概可以分成兩類：一類是現(xiàn)有業(yè)務(wù)的痛點(diǎn)；第二類是轉(zhuǎn)型升級以后面臨新的要求。

對于業(yè)務(wù)痛點(diǎn)，往往是：“該做的都做了，剩下的往往是難以做的?！彼裕y以找到合適的問題。對于這類困惑，大數(shù)據(jù)只是手段之一。往往要綜合運(yùn)用各種手段，大數(shù)據(jù)才能給創(chuàng)造價(jià)值。

對于第二類困惑，往往是業(yè)務(wù)本身或外部變化引發(fā)的。例如，采用了新的生產(chǎn)方式或技術(shù)手段、用戶對質(zhì)量要求提高了、數(shù)字化水平提高了、企業(yè)的業(yè)務(wù)重心轉(zhuǎn)移了（創(chuàng)新和服務(wù)的比重增大了）等等。這些變化，我統(tǒng)稱為“轉(zhuǎn)型升級”。對于這類新的問題，大數(shù)據(jù)方法比較容易發(fā)揮作用。

數(shù)據(jù)分析曾經(jīng)被認(rèn)為是“沒有辦法的辦法”。我把最近突然變熱的原因，歸結(jié)到智能制造相關(guān)技術(shù)引發(fā)的企業(yè)轉(zhuǎn)型升級。這時(shí)，大數(shù)據(jù)技術(shù)進(jìn)入了一個(gè)藍(lán)海。大數(shù)據(jù)進(jìn)入藍(lán)海的原因，不僅是獲得知識更方便等原因，更是知識的放大：把知識變成計(jì)算機(jī)可執(zhí)行的代碼、實(shí)現(xiàn)人機(jī)知識的共享，知識在互聯(lián)網(wǎng)上實(shí)現(xiàn)共享，都會讓知識的價(jià)值倍增。從而讓“知識生產(chǎn)”的經(jīng)濟(jì)性大大提升。

總體上看，轉(zhuǎn)型升級是戰(zhàn)略問題，大數(shù)據(jù)應(yīng)用是戰(zhàn)術(shù)問題。戰(zhàn)略重點(diǎn)的改變，才能給大數(shù)據(jù)的應(yīng)用創(chuàng)造條件。否則，再好的技術(shù)都可能成為屠龍之技。

8、大數(shù)據(jù)建模分析的方法論：算法只是細(xì)節(jié)問題

談到大數(shù)據(jù)分析與建模，很多人馬上想到各種算法。在我看來，對數(shù)據(jù)分析與建模問題來說，算法問題其實(shí)是戰(zhàn)術(shù)問題——也就是說，還需要有個(gè)戰(zhàn)略問題，用來決定分析什么問題、分析問題的次序和路徑等。CRISP_DM就是這個(gè)層面上的邏輯。我還想將其邏輯進(jìn)一步簡化：

1、明確業(yè)務(wù)需求；確定需求是真實(shí)的、一旦分析成功則具有可行性。

2、數(shù)據(jù)分析方法：解決問題的次序和切入點(diǎn)的問題。

3、分析問題的具體算法。如回歸、決策樹、深度學(xué)習(xí)等。

其中，前面兩步做得好的話，后面的算法會比較簡單。我總覺得，學(xué)術(shù)界把算法看得太重、過度重視算法技巧。技巧易于發(fā)論文，但不符合工程邏輯。

９、總結(jié)

人們關(guān)注工業(yè)大數(shù)據(jù)的終極目標(biāo)是創(chuàng)造價(jià)值；方向是提升智能化；核心問題是知識的獲取和應(yīng)用。用好大數(shù)據(jù)的關(guān)鍵是搞清楚戰(zhàn)略和戰(zhàn)術(shù)的關(guān)系，也就是做什么事情、做事的次序和切入點(diǎn)等問題。單純從分析方法或數(shù)據(jù)角度看問題，是看不清楚問題全貌的。