大數(shù)據(jù)分析的局限乃傳統(tǒng)統(tǒng)計學(xué)問題

大數(shù)據(jù)”已成為當(dāng)今炙手可熱的科技，商務(wù)、醫(yī)療、社交、教育、政務(wù)等領(lǐng)域紛紛廣泛采用“大數(shù)據(jù)”技術(shù)去提升應(yīng)用系統(tǒng)的智能及效率。

“大數(shù)據(jù)”分析之潛在問題

“大數(shù)據(jù)”的廣泛應(yīng)用始于美國。自從美國總統(tǒng)奧巴馬2012年3月推出2億美元的“大數(shù)據(jù)研究及發(fā)展計劃”后，世界各大小經(jīng)濟(jì)體陸續(xù)仿效，大力投資相關(guān)領(lǐng)域。全球資訊科技企業(yè)亦不敢怠慢，積極推出適合的大數(shù)據(jù)資訊科技方案及產(chǎn)品，更大灑金錢推廣大數(shù)據(jù)分析的優(yōu)點及其所能帶來的商機(jī)。據(jù)觀察，近期不少從事金融、醫(yī)療、社會工作、工商業(yè)、政務(wù)等范疇主管都已被潛移默化，鼓吹“大數(shù)據(jù)”的功能及效益。然而，“大數(shù)據(jù)”真的是萬能的嗎？本文引用不同的國際專家報告，反映“大數(shù)據(jù)”分析之潛在問題。

首篇報告題為《谷歌流感的比喻：大數(shù)據(jù)分析的陷阱》("The Parable of Google Flu : Traps of Big DataAnalytics")，描述了谷歌公司曾利用“大數(shù)據(jù)”分析推算2011/2012年度美國流感的趨勢，但結(jié)果卻強(qiáng)差人意，估計的流感個案數(shù)目遠(yuǎn)超過實際數(shù)目。而谷歌利用的數(shù)據(jù)是來自用戶使用的關(guān)鍵詞(如“禽流感”)次數(shù)及分布作推算分析。專家認(rèn)為構(gòu)成嚴(yán)重誤差的主要原因是谷歌盲目地廣泛收集關(guān)鍵詞，以為越多越好，卻沒有了解用戶查詢時的出發(fā)點，結(jié)果收集得的數(shù)據(jù)大部分來自非流感病患者，因此在數(shù)據(jù)采集階段已嚴(yán)重犯錯，自然推算失準(zhǔn)。若數(shù)據(jù)分析全力集中在流感病患者，結(jié)果便會截然不同。

第二位專家是美國加州大學(xué)伯克利分校的國際知名學(xué)者米高佐敦(MichaelJordon)教授，他最近接受美國IEEE學(xué)會雜志訪問，在題為"Machine-LearningMaestro Michael Jordan on the Delusions of Big Data and Other Huge EngineeringEfforts" 一文中指出，“大數(shù)據(jù)”在現(xiàn)今商業(yè)市場被過分炒作，它最后可能只是一場空歡喜，教授更預(yù)測“大數(shù)據(jù)”的“冬天”即將來臨。他認(rèn)為“大數(shù)據(jù)”用戶作出假設(shè)的速度將會超越大數(shù)據(jù)的統(tǒng)計范疇，在這情況下數(shù)據(jù)分析結(jié)果難免會出現(xiàn)錯誤，造成大量噪音，影響推算的可靠性。

從另一角度看，“大數(shù)據(jù)”用戶往往忽略數(shù)據(jù)的“動力”(dynamics)。例如在變幻無常的商務(wù)環(huán)境中，用戶的需求不停在變，那么昨天的“大數(shù)據(jù)”分析結(jié)果能有效地應(yīng)用于今天的商務(wù)環(huán)境嗎？能夠滿足用戶今天的需求嗎？若然不能，我們需要重新進(jìn)行分析，但昨天采集商務(wù)數(shù)據(jù)的方法能滿足用戶今天的新需求嗎？歸根究底，什么時候開始分析及什么時候停止既是統(tǒng)計學(xué)應(yīng)用的老問題，亦是“大數(shù)據(jù)”分析必須嚴(yán)肅面對的問題，但在千變?nèi)f化的應(yīng)用及數(shù)據(jù)環(huán)境下，要應(yīng)對這個問題更是難上加難。因此佐敦教授進(jìn)一步指出“大數(shù)據(jù)”分析服務(wù)提供者有責(zé)任清楚說明分析推算法的質(zhì)量標(biāo)準(zhǔn)及其誤差度，做好用戶的“期望管理”(Expectation Management)。

“大數(shù)據(jù)”的十大局限

“前車可鑒”，因此用戶在使用“大數(shù)據(jù)”技術(shù)時不容掉以輕心，必須緊慎考慮它在操作上的“盲點”(局限性)。歸納而言，這些“盲點”大致是由于以下網(wǎng)絡(luò)數(shù)據(jù)的不健康特性而產(chǎn)生：

- 噪音性：網(wǎng)上數(shù)據(jù)泛濫，資訊內(nèi)容五花八門，格式也參差不一。要從中過濾與應(yīng)用需求無關(guān)的數(shù)據(jù)，既復(fù)雜亦耗時。

- 真實性：由于網(wǎng)絡(luò)資訊自由，即使在找出相關(guān)數(shù)據(jù)之后，內(nèi)容的真假亦難以分別。例如去年在美國總統(tǒng)大選期間，在網(wǎng)絡(luò)媒體上謡言滿天飛，虛假新聞層出不窮，滲透全美每一角落；“教宗贊助特朗普”、“希拉里向伊斯蘭國（IS）販賣軍火”等假新聞在《臉書》上的分享及點評率遠(yuǎn)比傳統(tǒng)紙媒為高。然而，“垃圾入，垃圾出”(Garbage In Garbage Out)，基于偽造資訊的“大數(shù)據(jù)”分析，難免會適得其反。

- 代表性：真實的數(shù)據(jù)并不一定具代表性。若然系統(tǒng)錯誤地使用了缺乏代表性的資料作分析的話，結(jié)果便會弄巧反拙。

- 完整性：利用非完整的數(shù)據(jù)進(jìn)行分析，結(jié)果以偏概全，不盡不實，容易引致誤判。

- 時效性：某類數(shù)據(jù)在事件發(fā)生當(dāng)刻可能大派用場，但當(dāng)事件或時限過后，其影響力未必復(fù)再。若然過量的舊數(shù)據(jù)被用作分析，結(jié)果未能反映現(xiàn)況。再者，適時的數(shù)據(jù)往往因為比舊數(shù)據(jù)少而很容易被忽略。

- 解釋性：在“大數(shù)據(jù)”的分析過程中，基于輸入的數(shù)據(jù)，算法便會產(chǎn)生及輸出分析結(jié)果。在分析過程中，數(shù)據(jù)輸入如何產(chǎn)生輸出的理據(jù)及兩者的因果關(guān)系并不清晰，如黑箱作業(yè)。

- 預(yù)測性：世事變幻莫測，以前從未發(fā)生過的意外絶不罕見，但卻難以預(yù)料（分析出來）。因此，有專家認(rèn)為“大數(shù)據(jù)”分析是規(guī)范的（prescriptive）而不具預(yù)測性（predictive）的功能。

- 誤導(dǎo)性：使用假資訊或錯誤分析算法均會影響結(jié)果的可靠性?！氨M信書則不如無書”，未經(jīng)核實及驗證的分析結(jié)果可能會造成嚴(yán)重的反效果。

- 合法性：數(shù)據(jù)內(nèi)容、采集方法及其使用過程極有可能涉及個人私隱、商業(yè)機(jī)密及公眾權(quán)益等資訊。因此，資訊的安全性和合法性對“大數(shù)據(jù)”應(yīng)用十分之關(guān)鍵，可是不少企業(yè)只顧賺錢，而罔顧這些因素。

- 價值性：“大數(shù)據(jù)”不是免費(fèi)的，企業(yè)切忌盲目跟風(fēng)。數(shù)據(jù)本身、分析軟件等均所費(fèi)不菲，因此成本效益的衡量是企業(yè)采用“大數(shù)據(jù)”的另一關(guān)鍵考慮點。