“數(shù)據(jù)決定了機(jī)器學(xué)習(xí)的上限，而算法只是盡可能逼近這個(gè)上限”，這里的數(shù)據(jù)指的就是經(jīng)過(guò)特征工程得到的數(shù)據(jù)。特征工程指的是把原始數(shù)據(jù)轉(zhuǎn)變?yōu)槟Ｐ偷挠?xùn)練數(shù)據(jù)的過(guò)程，它的目的就是獲取更好的訓(xùn)練數(shù)據(jù)特征，使得機(jī)器學(xué)習(xí)模型逼近這個(gè)上限。

一、特征工程概念的理解

簡(jiǎn)單說(shuō)，特征工程是能夠?qū)?shù)據(jù)像藝術(shù)一樣展現(xiàn)的技術(shù)。

本質(zhì)上說(shuō)，呈現(xiàn)給算法的數(shù)據(jù)應(yīng)該能擁有基本數(shù)據(jù)的相關(guān)結(jié)構(gòu)或?qū)傩?。當(dāng)做特征工程時(shí)，其實(shí)是將數(shù)據(jù)屬性轉(zhuǎn)換為數(shù)據(jù)特征的過(guò)程，屬性代表了數(shù)據(jù)的所有維度，在數(shù)據(jù)建模時(shí)，如果對(duì)原始數(shù)據(jù)的所有屬性進(jìn)行學(xué)習(xí)，并不能很好的找到數(shù)據(jù)的潛在趨勢(shì)，而通過(guò)特征工程對(duì)你的數(shù)據(jù)進(jìn)行預(yù)處理的話，你的算法模型能夠減少受到噪聲的干擾，這樣能夠更好的找出趨勢(shì);

事實(shí)上，好的特征甚至能夠幫你實(shí)現(xiàn)使用簡(jiǎn)單的模型達(dá)到很好的效果;

但是，對(duì)于特征工程中引用的新特征，需要驗(yàn)證它的確提高了預(yù)測(cè)的準(zhǔn)確度，而不是加入了一個(gè)無(wú)用的特征，不然只會(huì)增加算法運(yùn)算的復(fù)雜度。

二、特征工程常用方法

1、時(shí)間戳處理

時(shí)間戳通常需要分離成多個(gè)維度比如年、月、日、小時(shí)、分鐘、秒鐘。但在很多的應(yīng)用中，大量的信息是不需要的，因此我們?cè)诔尸F(xiàn)時(shí)間的時(shí)候，試著保證你所提供的所有數(shù)據(jù)是你的模型所需要的，并且別忘了時(shí)區(qū)，加入你的數(shù)據(jù)源來(lái)自不同的地理數(shù)據(jù)源，別忘了利用時(shí)區(qū)將數(shù)據(jù)標(biāo)準(zhǔn)化。

2、離散型變量處理

舉一個(gè)簡(jiǎn)單的例子，由{紅，黃，藍(lán)}組成的離散型變量，最常用的方式是吧每個(gè)變量值轉(zhuǎn)換成二元屬性，即從{0.1}取一個(gè)值，也就是常說(shuō)的獨(dú)熱編碼(one-hot code)。

3、分箱/分區(qū)

有時(shí)候，將連續(xù)型變量轉(zhuǎn)換成類別呈現(xiàn)更有意義，同時(shí)能夠使算法減少噪聲的干擾，通過(guò)將一定范圍內(nèi)的數(shù)值劃分成確定的塊。

只有了解變量的領(lǐng)域知識(shí)的基礎(chǔ)，確定屬性能夠劃分成簡(jiǎn)潔的范圍時(shí)分區(qū)才有意義，即所有的數(shù)值落入一個(gè)分區(qū)時(shí)能夠呈現(xiàn)出共同的特征。在實(shí)際的運(yùn)用中，當(dāng)你不想讓你的模型總是嘗試區(qū)分值之間是否太近時(shí)，分區(qū)能夠避免出現(xiàn)過(guò)擬合。例如，如果你感興趣的是將一個(gè)城市作為總體，這時(shí)你可以將所有落入該城市的維度整合成一個(gè)整體。分箱也能減小小錯(cuò)誤的影響，通過(guò)將一個(gè)給定值劃入到最近的塊中。如果劃分范圍的數(shù)量和所有可能值相近，或?qū)δ銇?lái)說(shuō)準(zhǔn)確率很重要的話，此時(shí)分箱就不合適了。

4、交叉特征

交叉特征算是特征工程中非常重要的方法之一，它將兩個(gè)或更多的類別屬性組合成一個(gè)。當(dāng)組合的特征要比單個(gè)特征更好時(shí)，這是一項(xiàng)非常有用的技術(shù)。數(shù)學(xué)上來(lái)說(shuō)，是對(duì)類別特征的所有值進(jìn)行交叉相乘。

假如擁有一個(gè)特征A,A有兩個(gè)可能值{A1.A2}。擁有一個(gè)特征B，存在{B1.B2}等可能值。然后，A&B之間的交叉特征如下：{(A1.B1)，(A1.B2)，(A2.B1)，(A2.B2)}，并且你可以給這些組合特征取任何名字。但是需要明白每個(gè)組合特征其實(shí)代表著A和B各自信息協(xié)同作用。

5、特征選擇

為了得到更好的模型，使用某些算法自動(dòng)的選出原始特征的子集。這個(gè)過(guò)程，你不會(huì)構(gòu)建或修改你擁有的特征，但是會(huì)通過(guò)修建特征來(lái)達(dá)到減少噪聲和冗余。

特征選擇算法可能會(huì)用到評(píng)分方法來(lái)排名和選擇特征，比如相關(guān)性或其他確定特征重要性的方法，更進(jìn)一步的方法可能需要通過(guò)試錯(cuò)，來(lái)搜素出特征子集。

還有通過(guò)構(gòu)建輔助模型的方法，逐步回歸就是模型構(gòu)造過(guò)程中自動(dòng)執(zhí)行特征選擇算法的一個(gè)實(shí)例，還有像Lasso回歸和嶺回歸等正則化方法也被歸入到特征選擇，通過(guò)加入額外的約束或者懲罰項(xiàng)加到已有模型(損失函數(shù))上，以防止過(guò)擬合并提高泛化能力。

6、特征縮放

有時(shí)候，你可能會(huì)注意到某些特征比其他特征擁有高得多的跨度值。舉個(gè)例子，將一個(gè)人的收入和他的年齡進(jìn)行比較，更具體的例子，如某些模型(像嶺回歸)要求你必須將特征值縮放到相同的范圍值內(nèi)。通過(guò)特征縮放可以避免某些特征獲得大小非常懸殊的權(quán)重值。

7、特征提取

特征提取涉及到從原始屬性中自動(dòng)生成一些新的特征集的一系列算法，降維算法就屬于這一類。特征提取是一個(gè)自動(dòng)將觀測(cè)值降維到一個(gè)足夠建模的小數(shù)據(jù)集的過(guò)程。

對(duì)于列表數(shù)據(jù)，可使用的方法包括一些投影方法，像主成分分析和無(wú)監(jiān)督聚類算法。

對(duì)于圖形數(shù)據(jù)，可能包括一些直線監(jiān)測(cè)和邊緣檢測(cè)，對(duì)于不同領(lǐng)域有各自的方法。