一、基本步驟

數(shù)據(jù)預(yù)處理的基本步驟

我們拿到的數(shù)據(jù)，通常是不“完美”的，并不能夠直接用來分析和建模。所以通常我們需要先進行數(shù)據(jù)預(yù)處理。預(yù)處理 一般包括如下幾個步驟

第一步：數(shù)據(jù)集成

數(shù)據(jù)集成，也就是對不同數(shù)據(jù)源的數(shù)據(jù)進行整合。數(shù)據(jù)收集的過程，往往不是單一來源單一階段的。因此需要把不同來 源的數(shù)據(jù)進行整合，形成一個綜合的數(shù)據(jù)集。在這個過程中，需要注意不同來源的數(shù)據(jù)名稱、長度、格式、編碼規(guī)則以 及含義都可能存在差異，也可能會存在重復(fù)或者矛盾的數(shù)據(jù)。 因此在集成過程中需要對合并后的數(shù)據(jù)，進行驗證，避免出現(xiàn)同名異義，或者異名同義，以及單位不統(tǒng)一等情況。對于 重復(fù)數(shù)據(jù)，也要進行刪除和合并，避免冗余。

第二步：數(shù)據(jù)探索

拿到一個數(shù)據(jù)集，我們首先要進行數(shù)據(jù)探索。這是為了更好地理解數(shù)據(jù)集，掌握它的基本特征，為后面的操作打下基礎(chǔ)。 一般我們會通過集中趨勢和離散程度兩類指標(biāo)來探索一個數(shù)據(jù)集中的單一變量。 集中趨勢，我們一般可以通過平均值、中位數(shù)、眾數(shù)來衡量。 離散程度，我們一般則可以用極差、方差、標(biāo)準(zhǔn)差、分位數(shù)來評估。 另外，除了用數(shù)據(jù)指標(biāo)，我們也可以通過圖表的形式來了解一個數(shù)據(jù)集。比如箱形圖(Box-plot)，又稱為盒須圖，就是 一種經(jīng)常用來表示數(shù)據(jù)集分布情況的圖表。

另外，我們也可以通過圖表的形式來對數(shù)據(jù)集合中兩個字段的關(guān)系有一個初步的概念。比如Q-Q圖和散點圖。 Q-Q圖（Q-Q Plot）是用X-Y坐標(biāo)軸的形式把兩個變量分位數(shù)放在一起進行比較。如果兩個變量分布相似，那么圖形落在對角線。如 果兩個維度分布相關(guān)，那么圖形會近似呈直線形狀。Q-Q圖也可以用來判斷樣本分布是否為正態(tài)分布。

散點圖(Scatter Plot)，也是用X-Y坐標(biāo)軸的形式來表示兩個變量數(shù)據(jù)的關(guān)系。把（X,Y）的取值一一對應(yīng)表示在坐標(biāo)軸中，會形成一些 散落的點。根據(jù)點的形狀，我們就可以對兩個變量間的關(guān)系，有一個基本的了解。

第三步：數(shù)據(jù)交換

在進行了基本的了解后，我們還需要把集合中的數(shù)據(jù)通過一定形式的變換，轉(zhuǎn)換成適合分析和建模的形式。主要的數(shù) 據(jù)變換就是數(shù)據(jù)標(biāo)準(zhǔn)化。 數(shù)據(jù)標(biāo)準(zhǔn)化，指的是把數(shù)據(jù)按照一定的規(guī)則，進行縮放，使其落在一定的區(qū)間范圍內(nèi)。不同變量由于性質(zhì)不同，通常 具有不同的量綱和數(shù)量級。標(biāo)準(zhǔn)化，可以有效地解決變量間取值范圍差異過大的情況。避免后期建模中，由于量綱差 異，帶來信息遺失。同時由于去除了數(shù)據(jù)的單位限制，將其轉(zhuǎn)化為無量綱的純數(shù)值，也方便了不同變量間的比較和計 算。 -2，32，100，59，48→0.02，0.32，1，0.59，0.48

第四步：數(shù)據(jù)歸約

在實際項目中，我們遇到的數(shù)據(jù)集可能比較大，這個時候除非應(yīng)用大數(shù)據(jù)挖掘技術(shù)，在做一般的分析和建模時，我們都需要對數(shù)據(jù)進 行歸約，也就是簡化。當(dāng)然，簡化的前提是盡可能少地減少信息損失和保證最終效果。 另一種需要用到數(shù)據(jù)歸約的情況是，數(shù)據(jù)集的變量數(shù)較多，而對應(yīng)的樣本數(shù)相對比較少。這個時候，樣本的數(shù)量不足以支持這么多變 量的研究，過多的變量數(shù)也會使得一些模型不再適用。那么這個時候，我們也需要對變量進行歸約。 通常，我們可以采用維度歸約和數(shù)值歸約兩種方法。

第四步：數(shù)據(jù)歸約 —— 兩種方法

維度歸約

主要是減少變量，或者說維度屬性的個數(shù)。常用的方法有主成分分析、變量聚類等。

數(shù)值歸約

是通過選擇可以替代的、較小的數(shù)據(jù)的形式，來達到減少數(shù)據(jù)量的目的。一般可以分為有參數(shù)法和無參數(shù)法。有參數(shù)法的數(shù)值歸約， 最后只要存儲參數(shù)即可，不需要額外存儲數(shù)據(jù)。常用的有參數(shù)法是線性回歸和多元回歸。而無參數(shù)法一般不使用參數(shù)，或者模型的方 式來存儲數(shù)據(jù)，常用的方法有直方圖、抽樣和聚類。數(shù)據(jù)分箱也可以有效減少數(shù)據(jù)的數(shù)量。

二、數(shù)據(jù)清洗

1.填補遺漏的數(shù)據(jù)值

在數(shù)據(jù)收集的過程中，我們難免會遇到數(shù)據(jù)缺失的情況。對于缺失的數(shù)據(jù)，一般不建議直接刪除，通常會采用常數(shù)、中位數(shù)/眾數(shù)、隨機 數(shù)或者模型的方法進行填補。

常數(shù)法

最簡單，但是相對來說也比較主觀，可能帶來無效信息。因此使用較少，通常用于標(biāo)記缺失值。

中位數(shù)或者眾數(shù) 都是描述數(shù)據(jù)集的集中趨勢的指標(biāo)。因此填補的數(shù)值也比較接近數(shù)據(jù)集的共性特征，因此填補后的數(shù)據(jù)集集中趨勢會更加明顯，結(jié)果也 會偏向樂觀。因此通常應(yīng)用于有少量缺失值的情況。

隨機數(shù)方法

避免了主觀判斷，分布也更加自然。適用于有大量缺失值的情況。但是對生成隨機值的方法依賴性比較強，如果選擇不恰當(dāng)，可能生成 大量的無意義數(shù)據(jù)。

模型法

相對來說，取值最合理的一種方法。但是由于計算復(fù)雜，因此除非對數(shù)據(jù)的質(zhì)量特別敏感，一般很少采用。

2.平滑有噪聲數(shù)據(jù)

在一些變量中可能存在隨機的錯誤或者誤差，這個時候我們需要平滑這些有噪聲的數(shù)據(jù)，避免給最后結(jié)果造成影響。一般平滑有噪聲數(shù) 據(jù)的方法有分箱法、聚類法，也可以通過移動平均的方法來進行過濾平滑。

3.識別或去除異常值 變量中也可能存在異常值。我們可以通過數(shù)值或者畫圖的方法來進行判斷。對于單一變量，我們可以通過均值、分位數(shù)、對稱分布的經(jīng) 驗法則或者切比雪夫不等式來進行判斷。 如果需要識別兩個或者以上變量組合是否存在異常值，我們則可以采用聚類或者散點圖的方式來進行。 但是需要注意的是，異常值并不總是需要去除的。因為有時候異常值也代表了數(shù)據(jù)集的特征。具體是否需要去除或者調(diào)整，要根據(jù)項目 的實際情況和使用的模型要求來進行判斷。

4.解決不一致問題

在數(shù)據(jù)集成部分，我們也提到過，來源不同的數(shù)據(jù)，名稱、定義、長度、單位等都有可能存在不同，在使用前，我們需要對這些數(shù)據(jù)進 行檢查和統(tǒng)一。避免由于不一致帶來結(jié)果的誤差。

5.查重

有些時候，數(shù)據(jù)集合中可能會存在重復(fù)的數(shù)據(jù)。因此在使用數(shù)據(jù)集前，我們也要進行查重，避免造成信息的干擾。

三、例題精講

1.關(guān)于Z-score標(biāo)準(zhǔn)化說法正確的是（ ）。

A．變換后變量的取值范圍為[-1,1]

B．變換后變量的取值范圍為（-1,1）

C．消除了量綱的影響

D．改變了數(shù)據(jù)的偏度

答案：C 解析：變換后，變量的取值范圍仍然是(-∞，+∞)。新生成的變量均值為0，方差為1。

2.下面那些方法可以用于異常值的識別（ ）。 A．分位數(shù)判斷

B．轉(zhuǎn)化為Z-score判斷

C．聚類

D．計算峰度

答案：ABC 分析：異常值的判斷可以使用均值、分位數(shù)來判斷，可以使用對稱分布的經(jīng)驗法 則或切比雪夫不等式，還可以使用聚類。

點擊CDA題庫鏈接，獲取免費版CDA題庫入口，?？荚図樌?，快速拿證！

、