說說什么是探索式數(shù)據(jù)分析、驗(yàn)證性數(shù)據(jù)分析

在大數(shù)據(jù)時(shí)代，混亂的、無結(jié)構(gòu)的、多媒體的海量數(shù)據(jù)，通過各種渠道源源不斷地積累和記載著人類活動的各種痕跡。探索性數(shù)據(jù)分析可以成為了一個(gè)有效的工具。

美國約翰?懷爾德杜克(John Wilder Tukey)1977年在《探索性數(shù)據(jù)分析》(Exploratory Data Analysis)一書中第一次系統(tǒng)地論述了探索性數(shù)據(jù)分析。他的主要觀點(diǎn)是：探索性數(shù)據(jù)分析(EDA)與驗(yàn)證性數(shù)據(jù)分析(Confirmatory Data Analysis )有所不同：前者注重于對數(shù)據(jù)進(jìn)行概括性的描述，不受數(shù)據(jù)模型和科研假設(shè)的限制，而后者只注重對數(shù)據(jù)模型和研究假設(shè)的驗(yàn)證。他認(rèn)為統(tǒng)計(jì)分析不應(yīng)該只重視模型和假設(shè)的驗(yàn)證，而應(yīng)該充分發(fā)揮探索性數(shù)據(jù)分析的長處，在描述中發(fā)現(xiàn)新的理論假設(shè)和數(shù)據(jù)模型。

探索性數(shù)據(jù)分析有別于初始性數(shù)據(jù)分析(initial data analysis – IDA)。初始性數(shù)據(jù)分析的聚焦點(diǎn)是分析鑒別統(tǒng)計(jì)模型和科研假設(shè)測試所需的條件是否達(dá)到，以保證驗(yàn)證性分析的可靠性。在這個(gè)分析過程中對不符合條件的數(shù)據(jù)進(jìn)行缺值填補(bǔ)、數(shù)據(jù)轉(zhuǎn)換、異常值舍棄等處理以增強(qiáng)分析的準(zhǔn)確性。探索性數(shù)據(jù)分析包含初始性數(shù)據(jù)分析，但它的出發(fā)點(diǎn)不僅是確定數(shù)據(jù)質(zhì)量，而且更重視從數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)分布的模式(Patten)和提出新的假設(shè)。

在以抽樣統(tǒng)計(jì)為主導(dǎo)的傳統(tǒng)統(tǒng)計(jì)學(xué)中，探索性數(shù)據(jù)分析對驗(yàn)證性數(shù)據(jù)分析有著支持和輔助的作用。但由于抽樣和問卷都是事先設(shè)計(jì)好的，對數(shù)據(jù)的探索性分析是有限的。到了大數(shù)據(jù)時(shí)代，海量的無結(jié)構(gòu)、半結(jié)構(gòu)數(shù)據(jù)從多種渠道源源不斷地積累，不受分析模型和研究假設(shè)的限制，如何從中找出規(guī)律并產(chǎn)生分析模型和研究假設(shè)成為新挑戰(zhàn)。

探索性數(shù)據(jù)分析在對數(shù)據(jù)進(jìn)行概括性描述，發(fā)現(xiàn)變量之間的相關(guān)性以及引導(dǎo)出新的假設(shè)方面均大顯身手。從邏輯推理上講，探索性數(shù)據(jù)分析屬于歸納法(Induction)有別于從理論出發(fā)的演繹法(Deduction)。因此，探索性數(shù)據(jù)分析成為大數(shù)據(jù)分析中不可缺少的一步并且走向前臺。高速處理海量數(shù)據(jù)的新技術(shù)加上數(shù)據(jù)可視化工具的日益成熟更推動了探索性數(shù)據(jù)分析的快速普及。

美國2014年出版的《數(shù)據(jù)科學(xué)實(shí)戰(zhàn)》(Rachel Schutt, Cathy O’Neil著，馮凌秉、王群峰譯)一書中，探索性數(shù)據(jù)分析被列為數(shù)據(jù)科學(xué)工作流程中的一個(gè)能影響多個(gè)環(huán)節(jié)的關(guān)鍵步驟。(見下圖)

可以通過建立垃圾電子郵件過濾器的過程考察一下探索性數(shù)據(jù)分析的作用。

由于電子郵件是自動積累的，各種商業(yè)廣告常常充斥郵箱，每天都給用戶帶來很多不便。我們憑直覺和經(jīng)驗(yàn)可以判斷哪個(gè)是垃圾郵件，但人工清理這些垃圾很浪費(fèi)時(shí)間。建立垃圾郵件過濾器的第一步是從大量郵件中隨機(jī)抽樣出100條(或更多)，人工地將它們分成有用郵件和垃圾郵件。第二步是用探索性數(shù)據(jù)分析對篩選出的垃圾郵件進(jìn)行分析統(tǒng)計(jì)出哪類詞匯出現(xiàn)的機(jī)率最高。比如各類促銷和誘惑語言等，根據(jù)該類語言出現(xiàn)的頻度，可選出最常出現(xiàn)的5 到10個(gè)詞。第四步，以選出的詞為基礎(chǔ)建立初始郵件過濾模型并開發(fā)郵件過濾軟件程序，然后用它對一個(gè)大樣本(1000或更大)進(jìn)行垃圾郵件的過濾試驗(yàn)。第五步，對過濾器篩選出的垃圾郵件進(jìn)行人工驗(yàn)證，用探索性數(shù)據(jù)分析計(jì)算過濾的總成功率和每個(gè)詞的出現(xiàn)率。第六步，用成功率和出現(xiàn)率的結(jié)果進(jìn)一步改進(jìn)過濾模型，并在郵件處理過程中增加過濾器，根據(jù)事先定好的臨界點(diǎn)(Threshold)，增加或減少過濾詞匯的功能(機(jī)器學(xué)習(xí))。這樣，該垃圾郵件過濾器將不斷地自我改進(jìn)以提高過濾的成功率。最后，應(yīng)用數(shù)據(jù)可視化技術(shù)，各個(gè)階段的探索性數(shù)據(jù)分析結(jié)果都可以實(shí)時(shí)地用動態(tài)圖表展示。

從這個(gè)過程中我們可以看到：

1. 探索性數(shù)據(jù)分析能幫助我們從看似混亂無章的原始數(shù)據(jù)中篩選出可用的數(shù)據(jù)。

2. 探索性數(shù)據(jù)分析在數(shù)據(jù)清理中發(fā)揮重要作用。

3. 探索性數(shù)據(jù)分析是建立算法和過濾模型的第一步。

4. 探索性數(shù)據(jù)分析能通過數(shù)據(jù)碰撞發(fā)現(xiàn)新假設(shè)，通過機(jī)器學(xué)習(xí)不斷的改進(jìn)和提高算法的精準(zhǔn)度。

5. 探索性數(shù)據(jù)分析的結(jié)果，通過數(shù)據(jù)可視化展示，可以為郵件過濾器的開發(fā)隨時(shí)提供指導(dǎo)和修正信息。

按照傳統(tǒng)統(tǒng)計(jì)的“垃圾進(jìn)，垃圾出”(Garbage in, garbage out)的金科玉律，混亂和不規(guī)則的數(shù)據(jù)是無用的垃圾。在抽樣統(tǒng)計(jì)中，每一個(gè)樣品數(shù)據(jù)都必須經(jīng)過嚴(yán)格的檢測確保其準(zhǔn)確性和可靠性。在大數(shù)據(jù)時(shí)代，混亂的、無結(jié)構(gòu)的、多媒體的海量數(shù)據(jù)通過各種渠道(Internet of Things, IoT)源源不斷地積累和記載著人類活動的各種痕跡。探索性數(shù)據(jù)分析這個(gè)統(tǒng)計(jì)課程里一帶而過的分析方法在處理大數(shù)據(jù)的過程中卻成為了一個(gè)有效的工具。正如美國探索性數(shù)據(jù)分析創(chuàng)始人約翰?懷爾德杜克所說：“面對那些我們堅(jiān)信存在或不存在的事物時(shí)，‘探索性數(shù)據(jù)分析’代表了一種態(tài)度，一種方法手段的靈活性，更代表了人們尋求真相的強(qiáng)烈愿望?！?