無論它的規(guī)模和大小如何，數(shù)據(jù)已經(jīng)成為現(xiàn)代企業(yè)、公司和組織的一流資產(chǎn)。任何一個(gè)智能系統(tǒng)都需要數(shù)據(jù)驅(qū)動(dòng)，無論它多復(fù)雜。每個(gè)智能系統(tǒng)的核心，均有一個(gè)或多個(gè)基于某種數(shù)據(jù)學(xué)習(xí)方法的算法，例如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)或統(tǒng)計(jì)方法，它們利用這些數(shù)據(jù)來生成知識(shí)，并在一段時(shí)間內(nèi)提供智能洞察。

算法本身是非常通用的，但無法在普通原始數(shù)據(jù)上有效發(fā)揮作用。因此，需要從原始數(shù)據(jù)中提取有意義的特征，我們才能夠理解和使用這些數(shù)據(jù)。

任何一個(gè)智能數(shù)據(jù)洞察系統(tǒng)基本上都由端到端的管道組成：

• 先是獲取原始數(shù)據(jù)；
• 然后利用數(shù)據(jù)處理技術(shù)，從這些數(shù)據(jù)中獲取、處理和提取有意義的特征和屬性；
• 最后，通常利用統(tǒng)計(jì)模型或機(jī)器學(xué)習(xí)模型等技術(shù)對(duì)這些特征進(jìn)行建模。

如果有必要的話，還需要根據(jù)手頭要解決的問題部署該模型以供將來使用。

獲取原始數(shù)據(jù)后，直接在數(shù)據(jù)之上構(gòu)建模型是魯莽的，因?yàn)槲覀儫o法從普通原始數(shù)據(jù)中獲得想要的結(jié)果或性能，而且算法本身也不會(huì)自動(dòng)從中提取有意義的特征。在上圖中指出的數(shù)據(jù)準(zhǔn)備方面，在對(duì)原始數(shù)據(jù)進(jìn)行必要的清洗、預(yù)處理分析之后，便可以采用多種方法從中提取有意義的屬性或特征。特征工程是一門藝術(shù)，也是一門科學(xué)，這也是為什么數(shù)據(jù)科學(xué)家在建模之前通常會(huì)把70%的時(shí)間花在數(shù)據(jù)準(zhǔn)備上。

“特征工程是將原始數(shù)據(jù)轉(zhuǎn)化為特征的過程，這些特征可以更好地向預(yù)測(cè)模型描述潛在問題，從而提高模型對(duì)未見數(shù)據(jù)的準(zhǔn)確性?！?/span>

-Jason Brownlee博士

這讓我們深入了解了為什么特征工程是一個(gè)將數(shù)據(jù)轉(zhuǎn)化成作為機(jī)器學(xué)習(xí)模型輸入的特征的過程，換句話說，高質(zhì)量的特征有助于提高模型整體的性能和準(zhǔn)確性。特征在很大程度上與基本問題相關(guān)聯(lián)。

因此，即使機(jī)器學(xué)習(xí)任務(wù)在不同的場(chǎng)景中可能是相同的，比如將物聯(lián)網(wǎng)事件分類為正常和異常行為，或者將客戶情緒分類，但每個(gè)場(chǎng)景中提取的特征都會(huì)有很大的不同。

什么是特征？

特征通常是建立在原始數(shù)據(jù)之上的特定表示，它是一個(gè)單獨(dú)的可測(cè)量屬性，通常用數(shù)據(jù)集中的列表示。對(duì)于一個(gè)通用的二維數(shù)據(jù)集，每個(gè)觀測(cè)值由一行表示，每個(gè)特征由一列表示，對(duì)于每一個(gè)觀測(cè)具有一個(gè)特定的值。

因此，就像上圖中的例子一樣，每行通常表示一個(gè)特征向量，所有觀察到的全部特征集形成一個(gè)二維特征矩陣，也稱為特征集。這類似于用來表示二維數(shù)據(jù)的數(shù)據(jù)框或電子表格。機(jī)器學(xué)習(xí)算法通常與這些數(shù)值矩陣或張量一起工作，因此絕大多數(shù)特征工程技術(shù)都是將原始數(shù)據(jù)轉(zhuǎn)換為一些數(shù)值表達(dá)，以便算法理解。

基于數(shù)據(jù)集的特征可以分為兩大類：

• 固有的原始特征是直接從數(shù)據(jù)集獲得的，沒有額外的數(shù)據(jù)操作。
• 派生特征通常是從特征工程中獲得的，是從現(xiàn)有的數(shù)據(jù)屬性中提取出來的特征。

舉一個(gè)簡(jiǎn)單的例子：通過將當(dāng)前日期減去訂單日期，可以從包含“訂單日期”的訂單數(shù)據(jù)集中創(chuàng)建一個(gè)新的“訂單履行日期”。另一方面，在特定的深度學(xué)習(xí)算法中，特征通常比較簡(jiǎn)單，因?yàn)樗惴ū旧頃?huì)內(nèi)部轉(zhuǎn)化數(shù)據(jù)。這種方法需要的數(shù)據(jù)量會(huì)比較大，并以犧牲解釋性為代價(jià)。然而，在圖像處理或自然語言處理用例中，這樣的折中方法往往是值得的。

對(duì)于公司面臨的大多數(shù)其他用例，例如預(yù)測(cè)分析，特征工程是將數(shù)據(jù)轉(zhuǎn)換成機(jī)器學(xué)習(xí)所需要的格式。特征的選擇對(duì)模型的解釋性和性能都至關(guān)重要。如果沒有特征工程，今天的大公司就無法部署精確的機(jī)器學(xué)習(xí)系統(tǒng)。

特征工程

數(shù)值數(shù)據(jù)通常以標(biāo)量值的形式描述觀測(cè)、記錄或測(cè)量數(shù)據(jù)。在這里，我們所說的數(shù)值數(shù)據(jù)是指連續(xù)數(shù)據(jù)，而不是通常用來表示分類數(shù)據(jù)的離散數(shù)據(jù)。數(shù)值數(shù)據(jù)也可以是向量值，其中向量中的每個(gè)值或?qū)嶓w都可以表示一個(gè)特定的特征。整數(shù)和浮點(diǎn)數(shù)是連續(xù)數(shù)值數(shù)據(jù)中最常見和最廣泛使用的數(shù)值數(shù)據(jù)類型。

即使數(shù)值數(shù)據(jù)可以直接輸入機(jī)器學(xué)習(xí)模型，在構(gòu)建模型之前，仍然需要設(shè)計(jì)與場(chǎng)景、問題和領(lǐng)域相關(guān)的特征。因此，對(duì)特性工程的需求仍然存在。