一、基本步驟

數(shù)據(jù)預(yù)處理的基本步驟

我們拿到的數(shù)據(jù)，通常是不“完美”的，并不能夠直接用來分析和建模。所以通常我們需要先進(jìn)行數(shù)據(jù)預(yù)處理。預(yù)處理 一般包括如下幾個(gè)步驟

第一步：數(shù)據(jù)集成

數(shù)據(jù)集成，也就是對(duì)不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行整合。數(shù)據(jù)收集的過程，往往不是單一來源單一階段的。因此需要把不同來 源的數(shù)據(jù)進(jìn)行整合，形成一個(gè)綜合的數(shù)據(jù)集。在這個(gè)過程中，需要注意不同來源的數(shù)據(jù)名稱、長(zhǎng)度、格式、編碼規(guī)則以 及含義都可能存在差異，也可能會(huì)存在重復(fù)或者矛盾的數(shù)據(jù)。 因此在集成過程中需要對(duì)合并后的數(shù)據(jù)，進(jìn)行驗(yàn)證，避免出現(xiàn)同名異義，或者異名同義，以及單位不統(tǒng)一等情況。對(duì)于 重復(fù)數(shù)據(jù)，也要進(jìn)行刪除和合并，避免冗余。

第二步：數(shù)據(jù)探索

拿到一個(gè)數(shù)據(jù)集，我們首先要進(jìn)行數(shù)據(jù)探索。這是為了更好地理解數(shù)據(jù)集，掌握它的基本特征，為后面的操作打下基礎(chǔ)。 一般我們會(huì)通過集中趨勢(shì)和離散程度兩類指標(biāo)來探索一個(gè)數(shù)據(jù)集中的單一變量。 集中趨勢(shì)，我們一般可以通過平均值、中位數(shù)、眾數(shù)來衡量。 離散程度，我們一般則可以用極差、方差、標(biāo)準(zhǔn)差、分位數(shù)來評(píng)估。 另外，除了用數(shù)據(jù)指標(biāo)，我們也可以通過圖表的形式來了解一個(gè)數(shù)據(jù)集。比如箱形圖(Box-plot)，又稱為盒須圖，就是 一種經(jīng)常用來表示數(shù)據(jù)集分布情況的圖表。

另外，我們也可以通過圖表的形式來對(duì)數(shù)據(jù)集合中兩個(gè)字段的關(guān)系有一個(gè)初步的概念。比如Q-Q圖和散點(diǎn)圖。 Q-Q圖（Q-Q Plot）是用X-Y坐標(biāo)軸的形式把兩個(gè)變量分位數(shù)放在一起進(jìn)行比較。如果兩個(gè)變量分布相似，那么圖形落在對(duì)角線。如 果兩個(gè)維度分布相關(guān)，那么圖形會(huì)近似呈直線形狀。Q-Q圖也可以用來判斷樣本分布是否為正態(tài)分布。

散點(diǎn)圖(Scatter Plot)，也是用X-Y坐標(biāo)軸的形式來表示兩個(gè)變量數(shù)據(jù)的關(guān)系。把（X,Y）的取值一一對(duì)應(yīng)表示在坐標(biāo)軸中，會(huì)形成一些 散落的點(diǎn)。根據(jù)點(diǎn)的形狀，我們就可以對(duì)兩個(gè)變量間的關(guān)系，有一個(gè)基本的了解。

第三步：數(shù)據(jù)交換

在進(jìn)行了基本的了解后，我們還需要把集合中的數(shù)據(jù)通過一定形式的變換，轉(zhuǎn)換成適合分析和建模的形式。主要的數(shù) 據(jù)變換就是數(shù)據(jù)標(biāo)準(zhǔn)化。 數(shù)據(jù)標(biāo)準(zhǔn)化，指的是把數(shù)據(jù)按照一定的規(guī)則，進(jìn)行縮放，使其落在一定的區(qū)間范圍內(nèi)。不同變量由于性質(zhì)不同，通常 具有不同的量綱和數(shù)量級(jí)。標(biāo)準(zhǔn)化，可以有效地解決變量間取值范圍差異過大的情況。避免后期建模中，由于量綱差 異，帶來信息遺失。同時(shí)由于去除了數(shù)據(jù)的單位限制，將其轉(zhuǎn)化為無量綱的純數(shù)值，也方便了不同變量間的比較和計(jì) 算。 -2，32，100，59，48→0.02，0.32，1，0.59，0.48

第四步：數(shù)據(jù)歸約

在實(shí)際項(xiàng)目中，我們遇到的數(shù)據(jù)集可能比較大，這個(gè)時(shí)候除非應(yīng)用大數(shù)據(jù)挖掘技術(shù)，在做一般的分析和建模時(shí)，我們都需要對(duì)數(shù)據(jù)進(jìn) 行歸約，也就是簡(jiǎn)化。當(dāng)然，簡(jiǎn)化的前提是盡可能少地減少信息損失和保證最終效果。 另一種需要用到數(shù)據(jù)歸約的情況是，數(shù)據(jù)集的變量數(shù)較多，而對(duì)應(yīng)的樣本數(shù)相對(duì)比較少。這個(gè)時(shí)候，樣本的數(shù)量不足以支持這么多變 量的研究，過多的變量數(shù)也會(huì)使得一些模型不再適用。那么這個(gè)時(shí)候，我們也需要對(duì)變量進(jìn)行歸約。 通常，我們可以采用維度歸約和數(shù)值歸約兩種方法。

第四步：數(shù)據(jù)歸約 —— 兩種方法

維度歸約

主要是減少變量，或者說維度屬性的個(gè)數(shù)。常用的方法有主成分分析、變量聚類等。

數(shù)值歸約

是通過選擇可以替代的、較小的數(shù)據(jù)的形式，來達(dá)到減少數(shù)據(jù)量的目的。一般可以分為有參數(shù)法和無參數(shù)法。有參數(shù)法的數(shù)值歸約， 最后只要存儲(chǔ)參數(shù)即可，不需要額外存儲(chǔ)數(shù)據(jù)。常用的有參數(shù)法是線性回歸和多元回歸。而無參數(shù)法一般不使用參數(shù)，或者模型的方 式來存儲(chǔ)數(shù)據(jù)，常用的方法有直方圖、抽樣和聚類。數(shù)據(jù)分箱也可以有效減少數(shù)據(jù)的數(shù)量。

二、數(shù)據(jù)清洗

1.填補(bǔ)遺漏的數(shù)據(jù)值

在數(shù)據(jù)收集的過程中，我們難免會(huì)遇到數(shù)據(jù)缺失的情況。對(duì)于缺失的數(shù)據(jù)，一般不建議直接刪除，通常會(huì)采用常數(shù)、中位數(shù)/眾數(shù)、隨機(jī) 數(shù)或者模型的方法進(jìn)行填補(bǔ)。

常數(shù)法

最簡(jiǎn)單，但是相對(duì)來說也比較主觀，可能帶來無效信息。因此使用較少，通常用于標(biāo)記缺失值。

中位數(shù)或者眾數(shù) 都是描述數(shù)據(jù)集的集中趨勢(shì)的指標(biāo)。因此填補(bǔ)的數(shù)值也比較接近數(shù)據(jù)集的共性特征，因此填補(bǔ)后的數(shù)據(jù)集集中趨勢(shì)會(huì)更加明顯，結(jié)果也 會(huì)偏向樂觀。因此通常應(yīng)用于有少量缺失值的情況。

隨機(jī)數(shù)方法

避免了主觀判斷，分布也更加自然。適用于有大量缺失值的情況。但是對(duì)生成隨機(jī)值的方法依賴性比較強(qiáng)，如果選擇不恰當(dāng)，可能生成 大量的無意義數(shù)據(jù)。

模型法

相對(duì)來說，取值最合理的一種方法。但是由于計(jì)算復(fù)雜，因此除非對(duì)數(shù)據(jù)的質(zhì)量特別敏感，一般很少采用。

2.平滑有噪聲數(shù)據(jù)

在一些變量中可能存在隨機(jī)的錯(cuò)誤或者誤差，這個(gè)時(shí)候我們需要平滑這些有噪聲的數(shù)據(jù)，避免給最后結(jié)果造成影響。一般平滑有噪聲數(shù) 據(jù)的方法有分箱法、聚類法，也可以通過移動(dòng)平均的方法來進(jìn)行過濾平滑。

3.識(shí)別或去除異常值 變量中也可能存在異常值。我們可以通過數(shù)值或者畫圖的方法來進(jìn)行判斷。對(duì)于單一變量，我們可以通過均值、分位數(shù)、對(duì)稱分布的經(jīng) 驗(yàn)法則或者切比雪夫不等式來進(jìn)行判斷。 如果需要識(shí)別兩個(gè)或者以上變量組合是否存在異常值，我們則可以采用聚類或者散點(diǎn)圖的方式來進(jìn)行。 但是需要注意的是，異常值并不總是需要去除的。因?yàn)橛袝r(shí)候異常值也代表了數(shù)據(jù)集的特征。具體是否需要去除或者調(diào)整，要根據(jù)項(xiàng)目 的實(shí)際情況和使用的模型要求來進(jìn)行判斷。

4.解決不一致問題

在數(shù)據(jù)集成部分，我們也提到過，來源不同的數(shù)據(jù)，名稱、定義、長(zhǎng)度、單位等都有可能存在不同，在使用前，我們需要對(duì)這些數(shù)據(jù)進(jìn) 行檢查和統(tǒng)一。避免由于不一致帶來結(jié)果的誤差。

5.查重

有些時(shí)候，數(shù)據(jù)集合中可能會(huì)存在重復(fù)的數(shù)據(jù)。因此在使用數(shù)據(jù)集前，我們也要進(jìn)行查重，避免造成信息的干擾。

三、例題精講

1.關(guān)于Z-score標(biāo)準(zhǔn)化說法正確的是（ ）。

A．變換后變量的取值范圍為[-1,1]

B．變換后變量的取值范圍為（-1,1）

C．消除了量綱的影響

D．改變了數(shù)據(jù)的偏度

答案：C 解析：變換后，變量的取值范圍仍然是(-∞，+∞)。新生成的變量均值為0，方差為1。

2.下面那些方法可以用于異常值的識(shí)別（ ）。 A．分位數(shù)判斷

B．轉(zhuǎn)化為Z-score判斷

C．聚類

D．計(jì)算峰度

答案：ABC 分析：異常值的判斷可以使用均值、分位數(shù)來判斷，可以使用對(duì)稱分布的經(jīng)驗(yàn)法 則或切比雪夫不等式，還可以使用聚類。

點(diǎn)擊CDA題庫鏈接，獲取免費(fèi)版CDA題庫入口，祝考試順利，快速拿證！

、