“數(shù)據(jù)決定了機(jī)器學(xué)習(xí)的上限，而算法只是盡可能逼近這個上限”，這里的數(shù)據(jù)指的就是經(jīng)過特征工程得到的數(shù)據(jù)。特征工程指的是把原始數(shù)據(jù)轉(zhuǎn)變?yōu)槟Ｐ偷挠?xùn)練數(shù)據(jù)的過程，它的目的就是獲取更好的訓(xùn)練數(shù)據(jù)特征，使得機(jī)器學(xué)習(xí)模型逼近這個上限。

一、特征工程概念的理解

簡單說，特征工程是能夠?qū)?shù)據(jù)像藝術(shù)一樣展現(xiàn)的技術(shù)。

本質(zhì)上說，呈現(xiàn)給算法的數(shù)據(jù)應(yīng)該能擁有基本數(shù)據(jù)的相關(guān)結(jié)構(gòu)或?qū)傩?。當(dāng)做特征工程時，其實(shí)是將數(shù)據(jù)屬性轉(zhuǎn)換為數(shù)據(jù)特征的過程，屬性代表了數(shù)據(jù)的所有維度，在數(shù)據(jù)建模時，如果對原始數(shù)據(jù)的所有屬性進(jìn)行學(xué)習(xí)，并不能很好的找到數(shù)據(jù)的潛在趨勢，而通過特征工程對你的數(shù)據(jù)進(jìn)行預(yù)處理的話，你的算法模型能夠減少受到噪聲的干擾，這樣能夠更好的找出趨勢;

事實(shí)上，好的特征甚至能夠幫你實(shí)現(xiàn)使用簡單的模型達(dá)到很好的效果;

但是，對于特征工程中引用的新特征，需要驗(yàn)證它的確提高了預(yù)測的準(zhǔn)確度，而不是加入了一個無用的特征，不然只會增加算法運(yùn)算的復(fù)雜度。

二、特征工程常用方法

1、時間戳處理

時間戳通常需要分離成多個維度比如年、月、日、小時、分鐘、秒鐘。但在很多的應(yīng)用中，大量的信息是不需要的，因此我們在呈現(xiàn)時間的時候，試著保證你所提供的所有數(shù)據(jù)是你的模型所需要的，并且別忘了時區(qū)，加入你的數(shù)據(jù)源來自不同的地理數(shù)據(jù)源，別忘了利用時區(qū)將數(shù)據(jù)標(biāo)準(zhǔn)化。

2、離散型變量處理

舉一個簡單的例子，由{紅，黃，藍(lán)}組成的離散型變量，最常用的方式是吧每個變量值轉(zhuǎn)換成二元屬性，即從{0.1}取一個值，也就是常說的獨(dú)熱編碼(one-hot code)。

3、分箱/分區(qū)

有時候，將連續(xù)型變量轉(zhuǎn)換成類別呈現(xiàn)更有意義，同時能夠使算法減少噪聲的干擾，通過將一定范圍內(nèi)的數(shù)值劃分成確定的塊。

只有了解變量的領(lǐng)域知識的基礎(chǔ)，確定屬性能夠劃分成簡潔的范圍時分區(qū)才有意義，即所有的數(shù)值落入一個分區(qū)時能夠呈現(xiàn)出共同的特征。在實(shí)際的運(yùn)用中，當(dāng)你不想讓你的模型總是嘗試區(qū)分值之間是否太近時，分區(qū)能夠避免出現(xiàn)過擬合。例如，如果你感興趣的是將一個城市作為總體，這時你可以將所有落入該城市的維度整合成一個整體。分箱也能減小小錯誤的影響，通過將一個給定值劃入到最近的塊中。如果劃分范圍的數(shù)量和所有可能值相近，或?qū)δ銇碚f準(zhǔn)確率很重要的話，此時分箱就不合適了。

4、交叉特征

交叉特征算是特征工程中非常重要的方法之一，它將兩個或更多的類別屬性組合成一個。當(dāng)組合的特征要比單個特征更好時，這是一項(xiàng)非常有用的技術(shù)。數(shù)學(xué)上來說，是對類別特征的所有值進(jìn)行交叉相乘。

假如擁有一個特征A,A有兩個可能值{A1.A2}。擁有一個特征B，存在{B1.B2}等可能值。然后，A&B之間的交叉特征如下：{(A1.B1)，(A1.B2)，(A2.B1)，(A2.B2)}，并且你可以給這些組合特征取任何名字。但是需要明白每個組合特征其實(shí)代表著A和B各自信息協(xié)同作用。

5、特征選擇

為了得到更好的模型，使用某些算法自動的選出原始特征的子集。這個過程，你不會構(gòu)建或修改你擁有的特征，但是會通過修建特征來達(dá)到減少噪聲和冗余。

特征選擇算法可能會用到評分方法來排名和選擇特征，比如相關(guān)性或其他確定特征重要性的方法，更進(jìn)一步的方法可能需要通過試錯，來搜素出特征子集。

還有通過構(gòu)建輔助模型的方法，逐步回歸就是模型構(gòu)造過程中自動執(zhí)行特征選擇算法的一個實(shí)例，還有像Lasso回歸和嶺回歸等正則化方法也被歸入到特征選擇，通過加入額外的約束或者懲罰項(xiàng)加到已有模型(損失函數(shù))上，以防止過擬合并提高泛化能力。

6、特征縮放

有時候，你可能會注意到某些特征比其他特征擁有高得多的跨度值。舉個例子，將一個人的收入和他的年齡進(jìn)行比較，更具體的例子，如某些模型(像嶺回歸)要求你必須將特征值縮放到相同的范圍值內(nèi)。通過特征縮放可以避免某些特征獲得大小非常懸殊的權(quán)重值。

7、特征提取

特征提取涉及到從原始屬性中自動生成一些新的特征集的一系列算法，降維算法就屬于這一類。特征提取是一個自動將觀測值降維到一個足夠建模的小數(shù)據(jù)集的過程。

對于列表數(shù)據(jù)，可使用的方法包括一些投影方法，像主成分分析和無監(jiān)督聚類算法。

對于圖形數(shù)據(jù)，可能包括一些直線監(jiān)測和邊緣檢測，對于不同領(lǐng)域有各自的方法。