文 | 張小彥

在大數(shù)據(jù)時(shí)代，混亂的、無(wú)結(jié)構(gòu)的、多媒體的海量數(shù)據(jù)，通過(guò)各種渠道源源不斷地積累和記載著人類(lèi)活動(dòng)的各種痕跡。探索性數(shù)據(jù)分析可以成為了一個(gè)有效的工具。 

美國(guó)約翰·懷爾德杜克（John Wilder Tukey）1977年在《探索性數(shù)據(jù)分析》（Exploratory Data Analysis）一書(shū)中第一次系統(tǒng)地論述了探索性數(shù)據(jù)分析。他的主要觀點(diǎn)是：探索性數(shù)據(jù)分析（EDA）與驗(yàn)證性數(shù)據(jù)分析（Confirmatory Data Analysis ）有所不同：前者注重于對(duì)數(shù)據(jù)進(jìn)行概括性的描述，不受數(shù)據(jù)模型和科研假設(shè)的限制，而后者只注重對(duì)數(shù)據(jù)模型和研究假設(shè)的驗(yàn)證。他認(rèn)為統(tǒng)計(jì)分析不應(yīng)該只重視模型和假設(shè)的驗(yàn)證，而應(yīng)該充分發(fā)揮探索性數(shù)據(jù)分析的長(zhǎng)處，在描述中發(fā)現(xiàn)新的理論假設(shè)和數(shù)據(jù)模型。

探索性數(shù)據(jù)分析有別于初始性數(shù)據(jù)分析（initial data analysis - IDA)。初始性數(shù)據(jù)分析的聚焦點(diǎn)是分析鑒別統(tǒng)計(jì)模型和科研假設(shè)測(cè)試所需的條件是否達(dá)到，以保證驗(yàn)證性分析的可靠性。在這個(gè)分析過(guò)程中對(duì)不符合條件的數(shù)據(jù)進(jìn)行缺值填補(bǔ)、數(shù)據(jù)轉(zhuǎn)換、異常值舍棄等處理以增強(qiáng)分析的準(zhǔn)確性。探索性數(shù)據(jù)分析包含初始性數(shù)據(jù)分析，但它的出發(fā)點(diǎn)不僅是確定數(shù)據(jù)質(zhì)量，而且更重視從數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)分布的模式（Patten）和提出新的假設(shè)。
在以抽樣統(tǒng)計(jì)為主導(dǎo)的傳統(tǒng)統(tǒng)計(jì)學(xué)中，探索性數(shù)據(jù)分析對(duì)驗(yàn)證性數(shù)據(jù)分析有著支持和輔助的作用。但由于抽樣和問(wèn)卷都是事先設(shè)計(jì)好的，對(duì)數(shù)據(jù)的探索性分析是有限的。到了大數(shù)據(jù)時(shí)代，海量的無(wú)結(jié)構(gòu)、半結(jié)構(gòu)數(shù)據(jù)從多種渠道源源不斷地積累，不受分析模型和研究假設(shè)的限制，如何從中找出規(guī)律并產(chǎn)生分析模型和研究假設(shè)成為新挑戰(zhàn)。探索性數(shù)據(jù)分析在對(duì)數(shù)據(jù)進(jìn)行概括性描述，發(fā)現(xiàn)變量之間的相關(guān)性以及引導(dǎo)出新的假設(shè)方面均大顯身手。從邏輯推理上講，探索性數(shù)據(jù)分析屬于歸納法（Induction）有別于從理論出發(fā)的演繹法（Deduction）。因此，探索性數(shù)據(jù)分析成為大數(shù)據(jù)分析中不可缺少的一步并且走向前臺(tái)。高速處理海量數(shù)據(jù)的新技術(shù)加上數(shù)據(jù)可視化工具的日益成熟更推動(dòng)了探索性數(shù)據(jù)分析的快速普及。
美國(guó)2014年出版的《數(shù)據(jù)科學(xué)實(shí)戰(zhàn)》（Rachel Schutt， Cathy O’Neil著，馮凌秉、王群峰譯）一書(shū)中，探索性數(shù)據(jù)分析被列為數(shù)據(jù)科學(xué)工作流程中的一個(gè)能影響多個(gè)環(huán)節(jié)的關(guān)鍵步驟。（見(jiàn)下圖）

可以通過(guò)建立垃圾電子郵件過(guò)濾器的過(guò)程考察一下探索性數(shù)據(jù)分析的作用。
由于電子郵件是自動(dòng)積累的，各種商業(yè)廣告常常充斥郵箱，每天都給用戶帶來(lái)很多不便。我們憑直覺(jué)和經(jīng)驗(yàn)可以判斷哪個(gè)是垃圾郵件，但人工清理這些垃圾很浪費(fèi)時(shí)間。建立垃圾郵件過(guò)濾器的第一步是從大量郵件中隨機(jī)抽樣出100條（或更多），人工地將它們分成有用郵件和垃圾郵件。第二步是用探索性數(shù)據(jù)分析對(duì)篩選出的垃圾郵件進(jìn)行分析統(tǒng)計(jì)出哪類(lèi)詞匯出現(xiàn)的機(jī)率最高。比如各類(lèi)促銷(xiāo)和誘惑語(yǔ)言等，根據(jù)該類(lèi)語(yǔ)言出現(xiàn)的頻度，可選出最常出現(xiàn)的5 到10個(gè)詞。第四步，以選出的詞為基礎(chǔ)建立初始郵件過(guò)濾模型并開(kāi)發(fā)郵件過(guò)濾軟件程序，然后用它對(duì)一個(gè)大樣本（1000或更大）進(jìn)行垃圾郵件的過(guò)濾試驗(yàn)。第五步，對(duì)過(guò)濾器篩選出的垃圾郵件進(jìn)行人工驗(yàn)證，用探索性數(shù)據(jù)分析計(jì)算過(guò)濾的總成功率和每個(gè)詞的出現(xiàn)率。第六步，用成功率和出現(xiàn)率的結(jié)果進(jìn)一步改進(jìn)過(guò)濾模型，并在郵件處理過(guò)程中增加過(guò)濾器，根據(jù)事先定好的臨界點(diǎn)（Threshold），增加或減少過(guò)濾詞匯的功能（機(jī)器學(xué)習(xí)）。這樣，該垃圾郵件過(guò)濾器將不斷地自我改進(jìn)以提高過(guò)濾的成功率。最后，應(yīng)用數(shù)據(jù)可視化技術(shù)，各個(gè)階段的探索性數(shù)據(jù)分析結(jié)果都可以實(shí)時(shí)地用動(dòng)態(tài)圖表展示。
從這個(gè)過(guò)程中我們可以看到：
（1）探索性數(shù)據(jù)分析能幫助我們從看似混亂無(wú)章的原始數(shù)據(jù)中篩選出可用的數(shù)據(jù)；
（2）探索性數(shù)據(jù)分析在數(shù)據(jù)清理中發(fā)揮重要作用；
（3）探索性數(shù)據(jù)分析是建立算法和過(guò)濾模型的第一步；
（4）探索性數(shù)據(jù)分析能通過(guò)數(shù)據(jù)碰撞發(fā)現(xiàn)新假設(shè)，通過(guò)機(jī)器學(xué)習(xí)不斷的改進(jìn)和提高算法的精準(zhǔn)度；
（5）探索性數(shù)據(jù)分析的結(jié)果，通過(guò)數(shù)據(jù)可視化展示，可以為郵件過(guò)濾器的開(kāi)發(fā)隨時(shí)提供指導(dǎo)和修正信息。
按照傳統(tǒng)統(tǒng)計(jì)的“垃圾進(jìn)，垃圾出”（Garbage in， garbage out）的金科玉律，混亂和不規(guī)則的數(shù)據(jù)是無(wú)用的垃圾。在抽樣統(tǒng)計(jì)中，每一個(gè)樣品數(shù)據(jù)都必須經(jīng)過(guò)嚴(yán)格的檢測(cè)確保其準(zhǔn)確性和可靠性。在大數(shù)據(jù)時(shí)代，混亂的、無(wú)結(jié)構(gòu)的、多媒體的海量數(shù)據(jù)通過(guò)各種渠道（Internet of Things， IoT）源源不斷地積累和記載著人類(lèi)活動(dòng)的各種痕跡。探索性數(shù)據(jù)分析這個(gè)統(tǒng)計(jì)課程里一帶而過(guò)的分析方法在處理大數(shù)據(jù)的過(guò)程中卻成為了一個(gè)有效的工具。正如美國(guó)探索性數(shù)據(jù)分析創(chuàng)始人約翰？懷爾德杜克所說(shuō)：“面對(duì)那些我們堅(jiān)信存在或不存在的事物時(shí)，‘探索性數(shù)據(jù)分析’代表了一種態(tài)度，一種方法手段的靈活性，更代表了人們尋求真相的強(qiáng)烈愿望?！?/span>
作者簡(jiǎn)介：
張小彥，社會(huì)學(xué)博士，現(xiàn)任一家軟件公司董事長(zhǎng)兼資深科學(xué)顧問(wèn)
20世紀(jì)80年代由費(fèi)孝通先生推薦赴美留學(xué)。1989年獲匹茲堡大學(xué)社會(huì)學(xué)博士。二十多年來(lái)遵循費(fèi)老“社會(huì)學(xué)為社會(huì)服務(wù)”的教誨，將社會(huì)科學(xué)與現(xiàn)代信息技術(shù)相結(jié)合開(kāi)發(fā)社會(huì)管理和決策支持軟件系統(tǒng)。曾為美國(guó)聯(lián)邦政府和二十幾個(gè)州政府設(shè)計(jì)、建立了毒品濫用預(yù)防活動(dòng)管理信息系統(tǒng)。2007至2010年，被美國(guó)衛(wèi)生部聘為毒品濫用預(yù)防和治療研究中心國(guó)家級(jí)顧問(wèn)；同年，獲得國(guó)家預(yù)防網(wǎng)絡(luò)授予的服務(wù)金獎(jiǎng)；2008年獲得了美國(guó)安永企業(yè)家東部地區(qū)年度獎(jiǎng)；2010年被匹茲堡地區(qū)商業(yè)周刊評(píng)為行業(yè)標(biāo)兵?，F(xiàn)任一家軟件公司董事長(zhǎng)兼資深科學(xué)顧問(wèn)。數(shù)據(jù)分析師培訓(xùn)
end