文 | 張小彥

在大數(shù)據(jù)時代，混亂的、無結(jié)構(gòu)的、多媒體的海量數(shù)據(jù)，通過各種渠道源源不斷地積累和記載著人類活動的各種痕跡。探索性數(shù)據(jù)分析可以成為了一個有效的工具。 

美國約翰·懷爾德杜克（John Wilder Tukey）1977年在《探索性數(shù)據(jù)分析》（Exploratory Data Analysis）一書中第一次系統(tǒng)地論述了探索性數(shù)據(jù)分析。他的主要觀點是：探索性數(shù)據(jù)分析（EDA）與驗證性數(shù)據(jù)分析（Confirmatory Data Analysis ）有所不同：前者注重于對數(shù)據(jù)進(jìn)行概括性的描述，不受數(shù)據(jù)模型和科研假設(shè)的限制，而后者只注重對數(shù)據(jù)模型和研究假設(shè)的驗證。他認(rèn)為統(tǒng)計分析不應(yīng)該只重視模型和假設(shè)的驗證，而應(yīng)該充分發(fā)揮探索性數(shù)據(jù)分析的長處，在描述中發(fā)現(xiàn)新的理論假設(shè)和數(shù)據(jù)模型。

探索性數(shù)據(jù)分析有別于初始性數(shù)據(jù)分析（initial data analysis - IDA)。初始性數(shù)據(jù)分析的聚焦點是分析鑒別統(tǒng)計模型和科研假設(shè)測試所需的條件是否達(dá)到，以保證驗證性分析的可靠性。在這個分析過程中對不符合條件的數(shù)據(jù)進(jìn)行缺值填補、數(shù)據(jù)轉(zhuǎn)換、異常值舍棄等處理以增強分析的準(zhǔn)確性。探索性數(shù)據(jù)分析包含初始性數(shù)據(jù)分析，但它的出發(fā)點不僅是確定數(shù)據(jù)質(zhì)量，而且更重視從數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)分布的模式（Patten）和提出新的假設(shè)。
在以抽樣統(tǒng)計為主導(dǎo)的傳統(tǒng)統(tǒng)計學(xué)中，探索性數(shù)據(jù)分析對驗證性數(shù)據(jù)分析有著支持和輔助的作用。但由于抽樣和問卷都是事先設(shè)計好的，對數(shù)據(jù)的探索性分析是有限的。到了大數(shù)據(jù)時代，海量的無結(jié)構(gòu)、半結(jié)構(gòu)數(shù)據(jù)從多種渠道源源不斷地積累，不受分析模型和研究假設(shè)的限制，如何從中找出規(guī)律并產(chǎn)生分析模型和研究假設(shè)成為新挑戰(zhàn)。探索性數(shù)據(jù)分析在對數(shù)據(jù)進(jìn)行概括性描述，發(fā)現(xiàn)變量之間的相關(guān)性以及引導(dǎo)出新的假設(shè)方面均大顯身手。從邏輯推理上講，探索性數(shù)據(jù)分析屬于歸納法（Induction）有別于從理論出發(fā)的演繹法（Deduction）。因此，探索性數(shù)據(jù)分析成為大數(shù)據(jù)分析中不可缺少的一步并且走向前臺。高速處理海量數(shù)據(jù)的新技術(shù)加上數(shù)據(jù)可視化工具的日益成熟更推動了探索性數(shù)據(jù)分析的快速普及。
美國2014年出版的《數(shù)據(jù)科學(xué)實戰(zhàn)》（Rachel Schutt， Cathy O’Neil著，馮凌秉、王群峰譯）一書中，探索性數(shù)據(jù)分析被列為數(shù)據(jù)科學(xué)工作流程中的一個能影響多個環(huán)節(jié)的關(guān)鍵步驟。（見下圖）

可以通過建立垃圾電子郵件過濾器的過程考察一下探索性數(shù)據(jù)分析的作用。
由于電子郵件是自動積累的，各種商業(yè)廣告常常充斥郵箱，每天都給用戶帶來很多不便。我們憑直覺和經(jīng)驗可以判斷哪個是垃圾郵件，但人工清理這些垃圾很浪費時間。建立垃圾郵件過濾器的第一步是從大量郵件中隨機抽樣出100條（或更多），人工地將它們分成有用郵件和垃圾郵件。第二步是用探索性數(shù)據(jù)分析對篩選出的垃圾郵件進(jìn)行分析統(tǒng)計出哪類詞匯出現(xiàn)的機率最高。比如各類促銷和誘惑語言等，根據(jù)該類語言出現(xiàn)的頻度，可選出最常出現(xiàn)的5 到10個詞。第四步，以選出的詞為基礎(chǔ)建立初始郵件過濾模型并開發(fā)郵件過濾軟件程序，然后用它對一個大樣本（1000或更大）進(jìn)行垃圾郵件的過濾試驗。第五步，對過濾器篩選出的垃圾郵件進(jìn)行人工驗證，用探索性數(shù)據(jù)分析計算過濾的總成功率和每個詞的出現(xiàn)率。第六步，用成功率和出現(xiàn)率的結(jié)果進(jìn)一步改進(jìn)過濾模型，并在郵件處理過程中增加過濾器，根據(jù)事先定好的臨界點（Threshold），增加或減少過濾詞匯的功能（機器學(xué)習(xí)）。這樣，該垃圾郵件過濾器將不斷地自我改進(jìn)以提高過濾的成功率。最后，應(yīng)用數(shù)據(jù)可視化技術(shù)，各個階段的探索性數(shù)據(jù)分析結(jié)果都可以實時地用動態(tài)圖表展示。
從這個過程中我們可以看到：
（1）探索性數(shù)據(jù)分析能幫助我們從看似混亂無章的原始數(shù)據(jù)中篩選出可用的數(shù)據(jù)；
（2）探索性數(shù)據(jù)分析在數(shù)據(jù)清理中發(fā)揮重要作用；
（3）探索性數(shù)據(jù)分析是建立算法和過濾模型的第一步；
（4）探索性數(shù)據(jù)分析能通過數(shù)據(jù)碰撞發(fā)現(xiàn)新假設(shè)，通過機器學(xué)習(xí)不斷的改進(jìn)和提高算法的精準(zhǔn)度；
（5）探索性數(shù)據(jù)分析的結(jié)果，通過數(shù)據(jù)可視化展示，可以為郵件過濾器的開發(fā)隨時提供指導(dǎo)和修正信息。
按照傳統(tǒng)統(tǒng)計的“垃圾進(jìn)，垃圾出”（Garbage in， garbage out）的金科玉律，混亂和不規(guī)則的數(shù)據(jù)是無用的垃圾。在抽樣統(tǒng)計中，每一個樣品數(shù)據(jù)都必須經(jīng)過嚴(yán)格的檢測確保其準(zhǔn)確性和可靠性。在大數(shù)據(jù)時代，混亂的、無結(jié)構(gòu)的、多媒體的海量數(shù)據(jù)通過各種渠道（Internet of Things， IoT）源源不斷地積累和記載著人類活動的各種痕跡。探索性數(shù)據(jù)分析這個統(tǒng)計課程里一帶而過的分析方法在處理大數(shù)據(jù)的過程中卻成為了一個有效的工具。正如美國探索性數(shù)據(jù)分析創(chuàng)始人約翰？懷爾德杜克所說：“面對那些我們堅信存在或不存在的事物時，‘探索性數(shù)據(jù)分析’代表了一種態(tài)度，一種方法手段的靈活性，更代表了人們尋求真相的強烈愿望?！?/span>
作者簡介：
張小彥，社會學(xué)博士，現(xiàn)任一家軟件公司董事長兼資深科學(xué)顧問
20世紀(jì)80年代由費孝通先生推薦赴美留學(xué)。1989年獲匹茲堡大學(xué)社會學(xué)博士。二十多年來遵循費老“社會學(xué)為社會服務(wù)”的教誨，將社會科學(xué)與現(xiàn)代信息技術(shù)相結(jié)合開發(fā)社會管理和決策支持軟件系統(tǒng)。曾為美國聯(lián)邦政府和二十幾個州政府設(shè)計、建立了毒品濫用預(yù)防活動管理信息系統(tǒng)。2007至2010年，被美國衛(wèi)生部聘為毒品濫用預(yù)防和治療研究中心國家級顧問；同年，獲得國家預(yù)防網(wǎng)絡(luò)授予的服務(wù)金獎；2008年獲得了美國安永企業(yè)家東部地區(qū)年度獎；2010年被匹茲堡地區(qū)商業(yè)周刊評為行業(yè)標(biāo)兵?，F(xiàn)任一家軟件公司董事長兼資深科學(xué)顧問。數(shù)據(jù)分析師培訓(xùn)
end