
數(shù)據(jù)分析領(lǐng)域中最為人稱道的七種降維方法|技術(shù)專區(qū)
近來(lái)由于數(shù)據(jù)記錄和屬性規(guī)模的急劇增長(zhǎng),大數(shù)據(jù)處理平臺(tái)和并行數(shù)據(jù)分析算法也隨之出現(xiàn)。于此同時(shí),這也推動(dòng)了數(shù)據(jù)降維處理的應(yīng)用。實(shí)際上,數(shù)據(jù)量有時(shí)過(guò)猶不及。有時(shí)在數(shù)據(jù)分析應(yīng)用中大量的數(shù)據(jù)反而會(huì)產(chǎn)生更壞的性能。
最新的一個(gè)例子是采用 2009 KDD Challenge 大數(shù)據(jù)集來(lái)預(yù)測(cè)客戶流失量。 該數(shù)據(jù)集維度達(dá)到 15000 維。 大多數(shù)數(shù)據(jù)挖掘算法都直接對(duì)數(shù)據(jù)逐列處理,在數(shù)據(jù)數(shù)目一大時(shí),導(dǎo)致算法越來(lái)越慢。該項(xiàng)目的最重要的就是在減少數(shù)據(jù)列數(shù)的同時(shí)保證丟失的數(shù)據(jù)信息盡可能少。
以該項(xiàng)目為例,我們開始來(lái)探討在當(dāng)前數(shù)據(jù)分析領(lǐng)域中最為數(shù)據(jù)分析人員稱道和接受的數(shù)據(jù)降維方法。
缺失值比率 (Missing Values Ratio)
該方法的是基于包含太多缺失值的數(shù)據(jù)列包含有用信息的可能性較少。因此,可以將數(shù)據(jù)列缺失值大于某個(gè)閾值的列去掉。閾值越高,降維方法更為積極,即降維越少。該方法示意圖如下:
低方差濾波 (Low Variance Filter)
與上個(gè)方法相似,該方法假設(shè)數(shù)據(jù)列變化非常小的列包含的信息量少。因此,所有的數(shù)據(jù)列方差小的列被移除。需要注意的一點(diǎn)是:方差與數(shù)據(jù)范圍相關(guān)的,因此在采用該方法前需要對(duì)數(shù)據(jù)做歸一化處理。算法示意圖如下:
高相關(guān)濾波 (High Correlation Filter)
高相關(guān)濾波認(rèn)為當(dāng)兩列數(shù)據(jù)變化趨勢(shì)相似時(shí),它們包含的信息也顯示。這樣,使用相似列中的一列就可以滿足機(jī)器學(xué)習(xí)模型。對(duì)于數(shù)值列之間的相似性通過(guò)計(jì)算相關(guān)系數(shù)來(lái)表示,對(duì)于名詞類列的相關(guān)系數(shù)可以通過(guò)計(jì)算皮爾遜卡方值來(lái)表示。相關(guān)系數(shù)大于某個(gè)閾值的兩列只保留一列。同樣要注意的是:相關(guān)系數(shù)對(duì)范圍敏感,所以在計(jì)算之前也需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理。算法示意圖如下:
隨機(jī)森林/組合樹 (Random Forests)
組合決策樹通常又被成為隨機(jī)森林,它在進(jìn)行特征選擇與構(gòu)建有效的分類器時(shí)非常有用。一種常用的降維方法是對(duì)目標(biāo)屬性產(chǎn)生許多巨大的樹,然后根據(jù)對(duì)每個(gè)屬性的統(tǒng)計(jì)結(jié)果找到信息量最大的特征子集。例如,我們能夠?qū)σ粋€(gè)非常巨大的數(shù)據(jù)集生成非常層次非常淺的樹,每顆樹只訓(xùn)練一小部分屬性。如果一個(gè)屬性經(jīng)常成為最佳分裂屬性,那么它很有可能是需要保留的信息特征。對(duì)隨機(jī)森林數(shù)據(jù)屬性的統(tǒng)計(jì)評(píng)分會(huì)向我們揭示與其它屬性相比,哪個(gè)屬性才是預(yù)測(cè)能力最好的屬性。算法示意圖如下:
主成分分析 (PCA)
主成分分析是一個(gè)統(tǒng)計(jì)過(guò)程,該過(guò)程通過(guò)正交變換將原始的 n 維數(shù)據(jù)集變換到一個(gè)新的被稱做主成分的數(shù)據(jù)集中。變換后的結(jié)果中,第一個(gè)主成分具有最大的方差值,每個(gè)后續(xù)的成分在與前述主成分正交條件限制下與具有最大方差。降維時(shí)僅保存前 m(m < n) 個(gè)主成分即可保持最大的數(shù)據(jù)信息量。需要注意的是主成分變換對(duì)正交向量的尺度敏感。數(shù)據(jù)在變換前需要進(jìn)行歸一化處理。同樣也需要注意的是,新的主成分并不是由實(shí)際系統(tǒng)產(chǎn)生的,因此在進(jìn)行 PCA 變換后會(huì)喪失數(shù)據(jù)的解釋性。如果說(shuō),數(shù)據(jù)的解釋能力對(duì)你的分析來(lái)說(shuō)很重要,那么 PCA 對(duì)你來(lái)說(shuō)可能就不適用了。算法示意圖如下:
反向特征消除 (Backward Feature Elimination)
在該方法中,所有分類算法先用 n 個(gè)特征進(jìn)行訓(xùn)練。每次降維操作,采用 n-1 個(gè)特征對(duì)分類器訓(xùn)練 n 次,得到新的 n 個(gè)分類器。將新分類器中錯(cuò)分率變化最小的分類器所用的 n-1 維特征作為降維后的特征集。不斷的對(duì)該過(guò)程進(jìn)行迭代,即可得到降維后的結(jié)果。第k 次迭代過(guò)程中得到的是 n-k 維特征分類器。通過(guò)選擇最大的錯(cuò)誤容忍率,我們可以得到在選擇分類器上達(dá)到指定分類性能最小需要多少個(gè)特征。算法示意圖如下:
前向特征構(gòu)造 (Forward Feature Construction)
前向特征構(gòu)建是反向特征消除的反過(guò)程。在前向特征過(guò)程中,我們從 1 個(gè)特征開始,每次訓(xùn)練添加一個(gè)讓分類器性能提升最大的特征。前向特征構(gòu)造和反向特征消除都十分耗時(shí)。它們通常用于輸入維數(shù)已經(jīng)相對(duì)較低的數(shù)據(jù)集。算法示意圖如下:
我們選擇 2009 KDD chanllenge 的削數(shù)據(jù)集來(lái)對(duì)這些降維技術(shù)在降維率、準(zhǔn)確度損失率以及計(jì)算速度方面進(jìn)行比較。當(dāng)然,最后的準(zhǔn)確度與損失率也與選擇的數(shù)據(jù)分析模型有關(guān)。因此,最后的降維率與準(zhǔn)確度的比較是在三種模型中進(jìn)行,這三種模型分別是:決策樹,神經(jīng)網(wǎng)絡(luò)與樸素貝葉斯。
通過(guò)運(yùn)行優(yōu)化循環(huán),最佳循環(huán)終止意味著低緯度與高準(zhǔn)確率取決于七大降維方法與最佳分類模型。最后的最佳模型的性能通過(guò)采用所有特征進(jìn)行訓(xùn)練模型的基準(zhǔn)準(zhǔn)確度與 ROC 曲線下的面積來(lái)進(jìn)行比較。下面是對(duì)所有比較結(jié)果的對(duì)比。
從上表中的對(duì)比可知,數(shù)據(jù)降維算法不僅僅是能夠提高算法執(zhí)行的速度,同時(shí)也能過(guò)提高分析模型的性能。 在對(duì)數(shù)據(jù)集采用:缺失值降維、低方差濾波,高相關(guān)濾波或者隨機(jī)森林降維時(shí),表中的 AoC 在測(cè)試數(shù)據(jù)集上有小幅度的增長(zhǎng)。
確實(shí)在大數(shù)據(jù)時(shí)代,數(shù)據(jù)越多越好似乎已經(jīng)成為公理。我們?cè)俅谓忉屃水?dāng)數(shù)據(jù)數(shù)據(jù)集寶航過(guò)多的數(shù)據(jù)噪聲時(shí),算法的性能會(huì)導(dǎo)致算法的性能達(dá)不到預(yù)期。移除信息量較少甚至無(wú)效信息唯獨(dú)可能會(huì)幫助我們構(gòu)建更具擴(kuò)展性、通用性的數(shù)據(jù)模型。該數(shù)據(jù)模型在新數(shù)據(jù)集上的表現(xiàn)可能會(huì)更好。
最近,我們咨詢了 LinkedIn 的一個(gè)數(shù)據(jù)分析小組在數(shù)據(jù)分析中最為常用的數(shù)據(jù)降維方法,除了本博客中提到的其中,還包括:隨機(jī)投影(Random Projections)、非負(fù)矩陣分解(N0n-negative Matrix Factorization),自動(dòng)編碼(Auto-encoders),卡方檢測(cè)與信息增益(Chi-square and information gain), 多維標(biāo)定(Multidimensional Scaling), 相關(guān)性分析(Coorespondence Analysis), 因子分析(Factor Analysis)、聚類(Clustering)以及貝葉斯模型(Bayesian Models)。感謝 Asterios Stergioudis, Raoul Savos 以及 Michael Will 在 LinkedIN 小組中提供意見。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03