引言 1988年，我在浙大數(shù)學(xué)系讀書，范大茵教授主講《概率論》。我曾問她：全國新生兒的男女比例是51.2:48.8。如果各省的統(tǒng)計(jì)結(jié)果也一樣，是否包含更多的信息? 范老師說：如果按同一個(gè)概率發(fā)生，各省的結(jié)果沒有更多信息。 20多年過去了，我才意識(shí)到：理論上，范老師的回答完全正確;但現(xiàn)實(shí)中，信息量卻不相同。

　　大數(shù)據(jù)是個(gè)流行詞，受到了世界工業(yè)界的普遍關(guān)注。有位老院士曾說：大數(shù)據(jù)主要的成就，與侵犯個(gè)人隱私有關(guān)。的確，大數(shù)據(jù)在工業(yè)界的成功應(yīng)用并不多。我相信，大數(shù)據(jù)會(huì)對(duì)工業(yè)界帶來極大的改變。但與此同時(shí)，在工業(yè)界從事大數(shù)據(jù)研究也是項(xiàng)高風(fēng)險(xiǎn)的工作。多數(shù)人可能會(huì)鎩羽而歸。了解大數(shù)據(jù)不難，難的是不被一些光怪陸離的概念忽悠。如果不想被忽悠，就需要理解其精髓。

　　有人說，大數(shù)據(jù)最本質(zhì)的特征是數(shù)據(jù)量大，要有PB、EB的量級(jí)。為什么一定是這個(gè)量級(jí)呢?在這個(gè)級(jí)別以下，用過去的方法就可以有效存儲(chǔ)、傳輸和處理;超過這個(gè)量級(jí)以后，需要新的理論、方法和思路。所以，數(shù)據(jù)級(jí)別的擴(kuò)大，催生了新的理論。然而，從應(yīng)用的角度看，似乎有沒有必要：比這個(gè)數(shù)量級(jí)更低的數(shù)據(jù)分析往往都沒有做好數(shù)據(jù)挖掘理論出現(xiàn)了幾十年，成功的案例也不多。所以，從理論工作者的角度看，強(qiáng)調(diào)數(shù)據(jù)量是有道理的;但從工程師的角度看，過分強(qiáng)調(diào)數(shù)據(jù)量沒有多大的道理。

　　從應(yīng)用的角度看，數(shù)據(jù)量是否重要?可以換一種提法：要研究一個(gè)問題，10條數(shù)據(jù)、100條數(shù)據(jù)和1萬條數(shù)據(jù)有區(qū)別嗎?在過去，差別不是很大。比如，做線性回歸，樣本數(shù)目比自變量多一個(gè)就夠了;如果能多幾倍，基本上就很充分。采用神經(jīng)元方法時(shí)，樣本數(shù)比變量多一個(gè)數(shù)量級(jí)也就差不多了。在這些方法中，數(shù)據(jù)多了也難以發(fā)揮再大的作用。

　　多出來的數(shù)據(jù)真的沒用嗎?我的感覺是：多的數(shù)據(jù)不是無用，而是不會(huì)用、難利用。不是個(gè)別人不會(huì)用，而是普遍性不會(huì)用。其中的奧妙何在呢?

　　學(xué)過概率或統(tǒng)計(jì)理論的人都知道：所有的數(shù)學(xué)理論都基于特定的假設(shè)。比如，干擾按一定的概率分布發(fā)生、自變量檢測(cè)誤差可以忽略等。在很多時(shí)候，我們總是想當(dāng)然地認(rèn)為，這些條件是天然成立的。于是，人們習(xí)慣于按照書本上的做法，直接進(jìn)行分析。

　　但現(xiàn)實(shí)中，理論的假設(shè)卻往往不成立。分析工業(yè)過程或設(shè)備時(shí)，數(shù)據(jù)的分布往往很不規(guī)范;隨意的假設(shè)往往會(huì)帶來錯(cuò)誤的分析結(jié)論。再回頭看看本文開頭講到的人口問題：我們假設(shè)孩子的性別按一定的概率發(fā)生。然而，這只是假設(shè)。事實(shí)上，這些年中國人口的出生比例就發(fā)生了很大的變化，而且各個(gè)省份也不一樣。

　　如果嚴(yán)格地進(jìn)行統(tǒng)計(jì)研究，首先需要確認(rèn)的就是：某個(gè)隨機(jī)現(xiàn)象是否依照固定的頻度發(fā)生。只有這個(gè)條件滿足了，‘概率’的基本條件才能滿足。后續(xù)的分析才能有靠譜的結(jié)果。

　　所以，我們需要更多的數(shù)據(jù)來驗(yàn)證一些基本假設(shè)。這時(shí)，數(shù)據(jù)量的要求就會(huì)大大提升。另外，當(dāng)數(shù)據(jù)的信噪比較低時(shí)，對(duì)數(shù)據(jù)量的需求也會(huì)大大上升。筆者曾經(jīng)做過一個(gè)研究，發(fā)現(xiàn)分析一個(gè)要素的作用，需要2000~20000個(gè)數(shù)據(jù)。

　　這樣，多出來的數(shù)據(jù)就有用了。用好多出來的數(shù)據(jù)，才能保證分析的正確性。

　　有人或許要問：像神經(jīng)元這些非傳統(tǒng)方法，并沒有對(duì)數(shù)據(jù)提什么要求啊?的確，神經(jīng)元方法沒有明確提出什么要求。但是，誰又能保證其結(jié)果的可靠性呢?其實(shí)，采用神經(jīng)元方法也有個(gè)潛在要求：建模數(shù)據(jù)充分，且未來數(shù)據(jù)的分布不變。‘分布不變’的要求其實(shí)很高：不僅是數(shù)據(jù)分布范圍和密度不變，還包括變量間的關(guān)系不變、干擾的分布不變。這種要求，在現(xiàn)實(shí)中是難以驗(yàn)證和說清楚的。于是，結(jié)果的可靠性也就說不清楚。這對(duì)實(shí)際應(yīng)用是非常不利的。

　　既然多出來的數(shù)據(jù)是有用的，能否把‘大數(shù)據(jù)’的數(shù)量要求再降低一點(diǎn)呢?筆者認(rèn)為：如果需要大量的數(shù)據(jù)才能完成特定分析任務(wù)，并且需要新的思想和方法，都可以看做大數(shù)據(jù)的范疇。過于強(qiáng)調(diào)數(shù)據(jù)量是沒有必要的。

　　剛才的分析可能有點(diǎn)理論化。下面再具體解一下。

　　本人長期從事工業(yè)數(shù)據(jù)建模活動(dòng)。深知分析結(jié)果的可靠性對(duì)應(yīng)用至關(guān)重要。分析結(jié)果的可靠性與實(shí)用價(jià)值，常常是硬幣的兩面：如果正確的發(fā)現(xiàn)能創(chuàng)造出巨大的價(jià)值，錯(cuò)誤的認(rèn)識(shí)也必然導(dǎo)致重大的損失。所以，價(jià)值越大的分析結(jié)果，對(duì)可靠性的要求往往越高。而這恰恰是數(shù)據(jù)分析的難點(diǎn)所在。

　　我們希望有更多的數(shù)據(jù)，目的是獲得可靠性。

　　有了大量的、分布區(qū)域廣闊的數(shù)據(jù)，不僅可以驗(yàn)證數(shù)據(jù)的合理性，還可以合理地組合數(shù)據(jù)，以滿足特定的分析要求，以達(dá)到特定的分析目的。同時(shí)，數(shù)據(jù)多了，還可以通過分析結(jié)果的相互校驗(yàn)，多角度、全方位地分析特定結(jié)論的正確性這一點(diǎn)，是小樣本數(shù)據(jù)根本做不到的。尤其是數(shù)據(jù)誤差相對(duì)較大或者相關(guān)因素較多時(shí)。

　　說到這里，我又想起來大數(shù)據(jù)的另外幾個(gè)特征：速度、多樣性低價(jià)值密度。從應(yīng)用的角度看，這些特征的意義似乎也不是很大。

　　1、產(chǎn)生速度快。增大了分析的難度，對(duì)應(yīng)用帶來的好處卻不多，故而僅僅是在理論上有價(jià)值。

　　2、低價(jià)值密度。也增加了分析的難度。但對(duì)應(yīng)用來說，這是一種現(xiàn)象，似乎不值得強(qiáng)調(diào)。事實(shí)上，為了獲得可靠的結(jié)果，個(gè)別的‘小數(shù)據(jù)’往往才是分析大數(shù)據(jù)的關(guān)鍵鑰匙。而且，發(fā)現(xiàn)具有‘黑天鵝’性質(zhì)的小數(shù)據(jù)，往往是研究大數(shù)據(jù)的重要目的。

　　3、所謂‘多樣性’，指有很多非結(jié)構(gòu)化數(shù)據(jù)。也是增加理論難度、對(duì)實(shí)用無正面影響的因素。在現(xiàn)實(shí)中，數(shù)據(jù)分布越廣越好，便于從不同角度和視野確定結(jié)論的可靠性。所以，我寧可把‘多樣性’理解為數(shù)據(jù)分布的廣泛性，而非數(shù)據(jù)形態(tài)的多樣性。

　　從應(yīng)用的角度看，筆者更欣賞‘?dāng)?shù)據(jù)科學(xué)’的概念：綜合利用數(shù)據(jù)分析、模型計(jì)算和領(lǐng)域知識(shí)來解決實(shí)際問題。

　　對(duì)工程師來說，分析數(shù)據(jù)的目的是解決問題。為了達(dá)到分析的目的，應(yīng)該采取一切有利的方法、收集一切有用的證據(jù)，不應(yīng)該將自己限制在某個(gè)特定的理論方法上。我們期望大數(shù)據(jù)，卻也喜歡小數(shù)據(jù)：我們喜歡完整的、真實(shí)的數(shù)據(jù)。IBM對(duì)4V理論進(jìn)行了矯正。在筆者看來，這是很有道理的。

　　綜上所述，筆者認(rèn)為：將大數(shù)據(jù)理論用于工業(yè)領(lǐng)域時(shí)，不可執(zhí)著于‘原教旨主義’的認(rèn)識(shí)。我們關(guān)注大數(shù)據(jù)，是為了創(chuàng)造價(jià)值，而不是追趕時(shí)髦的理論和領(lǐng)域。從這種意義上說，制造企業(yè)研究大數(shù)據(jù)，應(yīng)該特別強(qiáng)調(diào)‘工業(yè)’二字，以區(qū)分現(xiàn)在流行的、以商務(wù)為主的大數(shù)據(jù)理論。

　　‘數(shù)據(jù)挖掘’理論出現(xiàn)了幾十年。但在工業(yè)界的成功應(yīng)用并不多。筆者認(rèn)為：重要的原因之一是缺乏一個(gè)合適的數(shù)據(jù)分析處理理論。筆者認(rèn)為：用好工業(yè)大數(shù)據(jù)需要關(guān)注三個(gè)要點(diǎn)：

　　1、可靠性?？煽康慕Y(jié)論才能用于工業(yè)實(shí)際。在本人看來，所謂可靠性，包含精確性、適用范圍的廣泛性和適用范圍的可知性。現(xiàn)實(shí)中，絕對(duì)的可靠是不存在的，我們只能追求相對(duì)的可靠。相對(duì)的可靠，可以由盡量多的、獨(dú)立的知識(shí)或分析結(jié)果來支撐。要做到可靠，就不能僅僅滿足與‘相關(guān)性’，而是要盡量關(guān)注‘因果性’。這一點(diǎn)，工業(yè)大數(shù)據(jù)與商務(wù)大數(shù)據(jù)的理論是矛盾的。同時(shí)，可靠性要求我們盡量使用傳統(tǒng)的、有堅(jiān)實(shí)理論基礎(chǔ)的統(tǒng)計(jì)方法只是不能盲目適用這些方法，要關(guān)注對(duì)適用條件的驗(yàn)證和構(gòu)造。

　　2、超越性。新發(fā)現(xiàn)的知識(shí)一定要超越人的認(rèn)識(shí)，否則就沒有價(jià)值。在商務(wù)活動(dòng)中，人的認(rèn)識(shí)相對(duì)模糊，大數(shù)據(jù)研究容易得到超越性的結(jié)果。在工業(yè)領(lǐng)域，人們對(duì)物理對(duì)象的了解往往非常深刻。膚淺的研究很難超越人的經(jīng)驗(yàn)。這時(shí)，要讓新知識(shí)超越人的經(jīng)驗(yàn)，往往要以精確定量為基礎(chǔ)的。我們不宜將發(fā)現(xiàn)不同于經(jīng)驗(yàn)的知識(shí)作為研究目標(biāo)：在工業(yè)領(lǐng)域，與專家認(rèn)識(shí)不同的結(jié)論多數(shù)是錯(cuò)的。有例外的話，也往往是量變引發(fā)質(zhì)變?cè)斐傻倪@種現(xiàn)象，正是以結(jié)論的精確定量為前提的。

　　3、嵌入性。大數(shù)據(jù)的應(yīng)用必須嵌入合適的流程。一般來說，僅僅滿足于發(fā)現(xiàn)知識(shí)并不能創(chuàng)造價(jià)值。在工業(yè)應(yīng)用中，常見的做法是將新發(fā)現(xiàn)的知識(shí)嵌入到生產(chǎn)和管理流程中去。最好用模型為載體來實(shí)現(xiàn)，促進(jìn)流程的智能化。眾所周知，商務(wù)大數(shù)據(jù)的應(yīng)用一般要結(jié)合新的商業(yè)模式。這一點(diǎn)，工業(yè)大數(shù)據(jù)與商務(wù)大數(shù)據(jù)是相通的。