來源：數(shù)據(jù)STUDIO
作者：云朵君
01、降維的意義
- 降低無效、錯(cuò)誤數(shù)據(jù)對(duì)建模的影響，提高建模的準(zhǔn)確性。
- 少量切具有代表性的數(shù)據(jù)將大幅縮減挖掘所需的時(shí)間。
- 降低存儲(chǔ)數(shù)據(jù)的成本。
02、需要降維的情況
大多數(shù)情況下，面臨高維數(shù)據(jù)，就要降維處理
- 維度數(shù)量。降維基本前提是高維。
- 建模輸出是否必須保留原始維度。如果需要最終建模輸出是能夠分析、解釋和應(yīng)用，則只能通過特征篩選或聚類等方式降維。
- 對(duì)模型對(duì)計(jì)算效率和建模時(shí)效性有要求。
- 是否需要保留完整的數(shù)據(jù)特征。
03、基于特征選擇的降維
根據(jù)一定的規(guī)則和經(jīng)驗(yàn)，直接選取原有維度的一部分參與后續(xù)的計(jì)算和建模過程，用選擇的維度代替所有維度。優(yōu)勢(shì)是既能滿足后續(xù)數(shù)據(jù)處理和建模要求，又能保留維度原本的業(yè)務(wù)含義，以便業(yè)務(wù)理解和應(yīng)用。
四種思路
經(jīng)驗(yàn)法： 根據(jù)業(yè)務(wù)專家或數(shù)據(jù)專家的以往經(jīng)驗(yàn)、實(shí)際數(shù)據(jù)情況、業(yè)務(wù)理解程度等進(jìn)行綜合考慮。
測(cè)算法： 通過不斷測(cè)試多種維度選擇參與計(jì)算，通過結(jié)果來反復(fù)驗(yàn)證和調(diào)整，并最終找到最佳特征方案。
基于統(tǒng)計(jì)分析方法： 通過相關(guān)分析不同維度間的線性關(guān)系，在相關(guān)性高的維度中進(jìn)行人工去除或篩選
- 方差過濾：classs sklearn.feature_selection.VarianceThreshold(threshold=0.0) .fit_transform(X,y)
- 卡方過濾：原假設(shè)是相互獨(dú)立 SelectKBest(chi2,k).fit_transform(X,y)
- F檢驗(yàn)：原假設(shè)是不存在顯著的線性關(guān)系 SelectKBest(f_classif,k).fit_transform(X,y)
- 通過計(jì)算不同維度間的互信息，找到具有較高互信息的特征集，然后去除或留下其中一個(gè)。SelectKBest(model,k).fit_transform(X,y) 其中 model=multual_info_classif 或 multual_info_regression
機(jī)器學(xué)習(xí)算法： 通過機(jī)器學(xué)習(xí)算法得到不同特征的特征值或權(quán)重，選擇權(quán)重較大的特征。
-
嵌入法：精確度模型本身，是過濾法的進(jìn)階版。
sklearn.feature_selection.SelectFromModel(sklearn.ensemble.RandomForestClassifier(),threshold=0.01).fit_transfrom(X,y) -
包裝法：
sklearn.feature_selection.RFE(sklearn.SVM.SVC(),k).fit_transfrom(X,y)
04、基于特征轉(zhuǎn)換的降維
按照一定的數(shù)學(xué)變換方法，把給定的一組相關(guān)變量（特征）通過數(shù)學(xué)模型將高維空間數(shù)據(jù)點(diǎn)映射到低維空間中，然后用映射后到變量的特征來表示原有變量的總體特征。這種方式是一種產(chǎn)生新維度的過程，轉(zhuǎn)換后的維度并非原有的維度本體，而是其綜合多個(gè)維度轉(zhuǎn)換或映射后的表達(dá)式。
PCA（主成分分析）
PCA (Principal Component Analysis) sklearn.decomposition.PCA(n_components=None,whiten=False)
from sklearn.decomposition import PCA
pca=PCA().fit()
pca.components_ # 返回模型各個(gè)特征向量 pca.explained_variance_ratio_ # 返回各自成分的方差百分比
圖片來源網(wǎng)絡(luò)
按照一定的數(shù)學(xué)變換方法，把給定的一組相關(guān)變量（特征）通過線性變換轉(zhuǎn)換成另一組不相關(guān)的變量，這些新變量按照方差依次遞減的順序排列。方法越大，包含的信息越多。（無監(jiān)督式學(xué)習(xí)，從特征的協(xié)方差角度，去選擇樣本點(diǎn)投影具有最大方差方向）n維可用。
二維轉(zhuǎn)一維舉例
所謂主成分：選出比原始變量個(gè)數(shù)少、能夠解釋數(shù)據(jù)中大部分的變量的幾個(gè)新變量，來替換原始變量進(jìn)行建模。
PCA是將數(shù)據(jù)投影到方差最大的幾個(gè)相互正交的方向上，以期待保留最多的樣本信息。
PCA算法
1，將原始數(shù)據(jù)按列組成 行 列矩陣
2，將 的每一行（代表一個(gè)屬性字段） 進(jìn)行標(biāo)準(zhǔn)化處理。
3，求出相關(guān)系數(shù)矩陣
4，求出 的特征值 及對(duì)應(yīng)的特征向量
5，將特征向量按對(duì)應(yīng)特征值大小從上到下按行排列成矩陣，取前 行組成矩陣
6，,
LDA (Linear Discriminant Analysis)
通過已知類別的“訓(xùn)練樣本”，來建立判別準(zhǔn)則，并通過預(yù)測(cè)變量來為已知數(shù)據(jù)進(jìn)行分類。（有監(jiān)督式學(xué)習(xí)，考慮分類標(biāo)簽信息，投影后選擇分類性能最好的方向） C-1維（分類標(biāo)簽數(shù)-1）
基本思想是將高維數(shù)據(jù)的模式樣本投影到最佳鑒別矢量空間，已到達(dá)抽取分類信息和壓縮特征空間維度的效果。投影后保證模式樣本在新子空間的類空間距離和最小的類距離，集模式在該空間中有最佳可分離性。
使樣本盡可能好分的投影方向，就是要使投影后使得同類樣本盡可能近，不同類樣本盡可能遠(yuǎn)。
圖片來源網(wǎng)絡(luò)
05、基于特征組合的降維
將輸入特征與目標(biāo)預(yù)測(cè)變量做擬合的過程，它將輸入特征經(jīng)過運(yùn)算，并得出能對(duì)目標(biāo)變量作出很好解釋（預(yù)測(cè)性）對(duì)復(fù)合特征，這些特征不是原有對(duì)單一特征，而是經(jīng)過組合和變換后的新特征。
優(yōu)點(diǎn)： 提高模型準(zhǔn)確率、降低噪聲干擾（魯棒性更強(qiáng)）、增加了對(duì)目標(biāo)變量的解釋性。
方法：
- 基于單一特征離散化后的組合。 現(xiàn)將連續(xù)性特征離散化后組合成新的特征。如RFM模型
- 基于單一特征的運(yùn)算后的組合。 對(duì)于單一列基于不同條件下獲得的數(shù)據(jù)記錄做求和、均值等獲得新特征。
- 基于多個(gè)特征的運(yùn)算后的組合。 將多個(gè)單一特征做復(fù)合計(jì)算（包括加減乘除對(duì)數(shù)等），（一般基于數(shù)值型特征）獲得新特征。
- 基于模型等特征最優(yōu)組合。 基于輸入特征與目標(biāo)變量，在特定的優(yōu)化函數(shù)的前提下做模型迭代計(jì)算，以到達(dá)模型最優(yōu)的解。如多項(xiàng)式的特征組合、基于GBDT的特征組合。
GBDT
sklearn.ensemble.GradientBoostingClassifier(
).fit(X,y).apply(X)[:,:,0]
apply()返回的是
[n_samples,n_estimators, n_classes]
多項(xiàng)式
sklearn.preprocessing. PolynomialFeatures.fit_transform(X,y ).get_feature_names()
Ok，今天的分享就到這里啦！
京公網(wǎng)安備 11010802034615號(hào)