數(shù)據(jù)分析師：避免低質(zhì)量數(shù)據(jù)的5個(gè)方法

數(shù)據(jù)科學(xué)家的最怕的是低質(zhì)量的數(shù)據(jù)。因?yàn)槟呐履惆l(fā)明出世界上最聰明的算法，這些算法碰到低質(zhì)量數(shù)據(jù)便毫無(wú)用處。正如我們常說(shuō)的，“垃圾數(shù)據(jù)入，垃圾數(shù)據(jù)出”。

我最近在為一個(gè)大型的石油天然氣公司工作。為 提升煉油廠的安全性，我協(xié)助他們采用一個(gè)更加基于風(fēng)險(xiǎn)的檢驗(yàn)策略。為了能夠最好地運(yùn)用這種策略，我們需要把風(fēng)險(xiǎn)完全量化。我們想使用歷史檢驗(yàn)數(shù)據(jù)來(lái)確定需 要更多關(guān)注的高風(fēng)險(xiǎn)區(qū)域。但是因?yàn)槿藗儗?duì)于現(xiàn)有的歷史數(shù)據(jù)并沒(méi)有信心，這個(gè)方法便行不通。這是一個(gè)數(shù)據(jù)從業(yè)者經(jīng)常面對(duì)的挑戰(zhàn)。為了讓你的數(shù)據(jù)科學(xué)良好地運(yùn) 作，你需要有一些避免低質(zhì)量數(shù)據(jù)的方法。

1.清潔數(shù)據(jù)源

一個(gè)清潔的數(shù)據(jù)源是非常重要的。一個(gè)本來(lái)就相對(duì)干凈的房子，清理起來(lái)會(huì)比較輕松。數(shù)據(jù)清理也是一個(gè)道理。

在石油天然氣客戶那里，我發(fā)現(xiàn)了許多數(shù)據(jù)采集 的問(wèn)題。比如說(shuō)，在數(shù)據(jù)庫(kù)中，你可能發(fā)現(xiàn)2015年管道厚度的讀數(shù)比2012年的讀數(shù)大。雖然我不是一個(gè)物理學(xué)家，但是我相當(dāng)肯定管道厚度不會(huì)隨著時(shí)間而 增長(zhǎng)。當(dāng)初當(dāng)我們看到一個(gè)如此可疑的數(shù)據(jù)，我們并沒(méi)有從根本上做出一個(gè)原因的分析。但是這的確是值得詳細(xì)調(diào)查的。這就是我所說(shuō)的從源頭清理數(shù)據(jù)。相對(duì)于其 他的數(shù)據(jù)清理方法，我偏愛(ài)清潔數(shù)據(jù)源這種方法。因?yàn)樗那鍧嵭Ч侨魏纹渌椒ǖ?0倍。

2.建立標(biāo)準(zhǔn)答案

在你能夠認(rèn)定什么是高質(zhì)量數(shù)據(jù)前，你必須知道高數(shù)據(jù)質(zhì)量是什么樣子。雖然在一些案例中，這是不可能的。譬如說(shuō)在管道測(cè)量這個(gè)例子中，就不可能確切知道三年之后管會(huì)道薄多少。這也正是你測(cè)量它的原因。但在一些案例中，你可以知道高質(zhì)量的數(shù)據(jù)是什么樣子的。

你最好有一個(gè)標(biāo)準(zhǔn)答案。特別當(dāng)你在用統(tǒng)計(jì)學(xué)的方法確定數(shù)據(jù)質(zhì)量時(shí)候，一個(gè)簡(jiǎn)單的單一樣本T檢驗(yàn)，就可以告訴你數(shù)據(jù)的質(zhì)量如何。

當(dāng)你在利用公司Email服務(wù)器進(jìn)行員工情緒的數(shù)據(jù)挖掘時(shí)，你的算法應(yīng)該排除所有進(jìn)入服務(wù)器的垃圾郵件。在這種情況下，垃圾郵件十分明顯，所以你也能夠很明顯地看出哪些是非垃圾郵件，而這就是標(biāo)準(zhǔn)答案的作用。

3.謹(jǐn)記完整性規(guī)則

完整性規(guī)則是清理數(shù)據(jù)的必須條件

我曾經(jīng)在一間大型的技術(shù)公司工作，公司主要業(yè) 務(wù)是構(gòu)建政府交易的客戶注冊(cè)表。這些客戶注冊(cè)表是4到5個(gè)數(shù)據(jù)源的客戶主數(shù)據(jù)。為集成每一個(gè)數(shù)據(jù)源，我們會(huì)見(jiàn)了產(chǎn)品的擁有者，詢問(wèn)了他們關(guān)于數(shù)據(jù)的 ACD（增加、修改、刪除）屬性情況。然后，我們?cè)谒鼈兊臄?shù)據(jù)表中建立ACD審計(jì)日志去觀察實(shí)際上發(fā)生了什么事情 。結(jié)果，在幾乎所有的案例中，總有一些不應(yīng)該刪除的數(shù)據(jù)從表中被刪除，并且總有數(shù)據(jù)被插入到本應(yīng)是靜態(tài)的表中。

考慮數(shù)據(jù)沒(méi)有損壞時(shí)，你的數(shù)據(jù)中運(yùn)用的邏輯法則，然后建立審計(jì)腳本，在有違背規(guī)則情況發(fā)生的時(shí)候，你可以得到及時(shí)的通知。例如，如果有一個(gè)外鍵指向一個(gè)不存在的主鍵，你就可以及時(shí)發(fā)現(xiàn)這個(gè)問(wèn)題。

4.采用專家系統(tǒng)

如果不涉及定量的風(fēng)險(xiǎn)評(píng)策略不能讓石油天然氣 的客戶滿意，我們會(huì)和專家們商量，看我們是否可以重復(fù)他們?cè)诜治鰯?shù)據(jù)前進(jìn)行數(shù)據(jù)清洗的過(guò)程。這是一個(gè)專家系統(tǒng)，它是一個(gè)基于規(guī)則的復(fù)制，復(fù)制一個(gè)人類專家 如何去介定好的數(shù)據(jù)質(zhì)量。一個(gè)專家系統(tǒng)可以良好地運(yùn)作，只要如下條件：1）你有真正的專家（提示：檢查他們的結(jié)果并且忽略他們的職位）。2）他們可以清楚 地解釋他們所做的一切。3）他們所做的可以轉(zhuǎn)換為明確的規(guī)則。

理論都是背后內(nèi)容的簡(jiǎn)化，所以需要小心，你的專家可能很難向你解釋他們所做的事。正如同向一個(gè)小學(xué)生解釋如何開(kāi)車，并不是那么容易的事。

5.在你的兵工廠中加上機(jī)器學(xué)習(xí)能力這個(gè)工具

使用機(jī)器學(xué)習(xí)能力去清理你將會(huì)用作機(jī)器學(xué)習(xí)的 數(shù)據(jù)，聽(tīng)起來(lái)有點(diǎn)繞。但它確實(shí)可行。你要設(shè)立兩種系統(tǒng)：一個(gè)用于清理，而另一個(gè)用于分析。你需要確保它們的解決方案空間獨(dú)立，因?yàn)檫@是兩個(gè)不相同的問(wèn)題。 教會(huì)計(jì)算機(jī)學(xué)習(xí)清潔數(shù)據(jù)是什么樣的，這個(gè)方法是完全可行的，特別是當(dāng)你有標(biāo)準(zhǔn)答案的時(shí)候。

只依靠計(jì)算機(jī)，利用它的機(jī)器學(xué)習(xí)能力去清洗輸 入數(shù)據(jù)并不能讓我安心。因?yàn)槟呐率窃?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機(jī)器學(xué)習(xí)能力如此發(fā)達(dá)的今天，你都永遠(yuǎn)不能完全了解清洗算法究竟能在多大程度上發(fā)揮作用。就好像亞馬遜的機(jī)器，它的確 很好，但它推薦給我的電影卻不合我心意。然而，即使如此，在你的兵工廠中儲(chǔ)存上這種工具依舊是有利無(wú)害的。

小結(jié)：

我講述了五個(gè)方法用來(lái)確保你不會(huì)因?yàn)槔鴶?shù)據(jù)破壞你的數(shù)據(jù)科學(xué)努力。一些戰(zhàn)術(shù)可以馬上使用，一些需要時(shí)間去開(kāi)發(fā)。

你應(yīng)該認(rèn)真對(duì)待只輸入高質(zhì)量的數(shù)據(jù)到你的數(shù)據(jù)算法這一原則。否則，你很快會(huì)看到你的數(shù)據(jù)科學(xué)團(tuán)隊(duì)將被質(zhì)量問(wèn)題所困擾。