
【咱們的目標】系列算法講解旨在用最簡單易懂的故事情節(jié)幫助大家掌握晦澀無趣的機器學習,適合對數(shù)學很頭疼的同學們,小板凳走起!
今天咱們就來討論一下傳說中的集成算法,之前咱們講的算法都是單兵作戰(zhàn)的(單個模型得到結果),但是回過頭來想一想現(xiàn)在是不是干啥都講究個合作共贏,所以咱們的模型也是如此。單個算法確實勢單力薄,假如我們可以把它們組合起來會不會得到更好的效果呢?(算法們要揭竿起義了,今亡亦死舉大計亦死。。。編不下去了)
在集成算法中,有三個核心模塊,咱們就一一道來,先來概述一下:
Bagging集成:并行的構造多個基礎模型(隨機森林),每一個基礎模型都各自為政,然后把它們的結果求一個平均就好!
Boosting集成:串行的構造多個基礎模型(Xgboost),每一個基礎模型都要嚴格篩選,在前面的基礎上加進來的新模型后,它們整體的效果起碼得沒加這個新的基礎模型前要強吧!
Stacking集成:多種算法群毆一起上!選擇多個機器學習算法做同一件事,最后把它們的結果合并就OK啦!
先來看看第一個家伙Bagging模型,其典型代表就是隨機森立了,簡單來說就是并行的訓練一堆樹模型,然后求其平均結果,在這里我們要討論一個問題,就是每個樹模型該怎么構造呢?如果不加入任何限制,那每個樹模型不都差不多嘛,那最后的平均結果又會有什么變化呢?所以為了結果的泛化能力更強,必須要使得每個樹模型表現(xiàn)出多樣性,也就是盡可能的讓每個樹模型都不一樣!
這該怎么做呢?什么影響模型呢?數(shù)據(jù)絕對是最大的影響因子,這里的森林很好理解了,就是把樹放在一起,那么隨機又是什么呢?為了保證每個樹的多樣性,在構建模型時,我們做了二重隨機(我自創(chuàng)的詞。。。)第一重就是對樣本的選擇,每次隨機的有放回的選擇部分樣本作為一棵樹的訓練樣本(比如選擇百分之八十作為訓練集)。第二重還要考慮特征了,既然樣本數(shù)據(jù)能隨機,那么特征也是一樣的,每棵樹選擇的特征也是不一樣的隨機選擇部分特征來建模!
隨機的意義非常重要,這是隨機森林的精神所在!
隨機森林作為灰常經(jīng)典的機器學習算法,優(yōu)勢自然少不了,當我們建模完之后,還可以對特征進行重要性評估,其實簡單來說一個特征的重要與否可以取決于建模的時候如果把這個特征換成噪音特征再去看看結果的錯誤率是不是顯著上升,如果顯著上升,那么這個特征自然很重要,如果沒變化,那這個特征就沒啥用了,因為它和噪音沒啥區(qū)別!
隨機森林中樹的個數(shù)是不是越多越好呢?理論上越多的樹效果應該會更好吧,但是實際上我們把樹的個數(shù)增加到一定的時候比如100棵了已經(jīng),再往上增加樹的個數(shù)結果也只會發(fā)生小范圍的浮動,基本也就穩(wěn)定了!
Boosting集成中典型的代表就屬Xgboost啦,一個大殺器,這個算法由于涉及的數(shù)學比較多,咱們后續(xù)來一個專題去講Xgboost,我們先來看看簡單些的Adaboost。
Adaboost算法概述來說就是,首選我有一個非常簡單的模型,比如深度為1的樹模型,然后我去預測一下結果,在結果中我發(fā)現(xiàn)某些樣本預測錯了,這個時候第二個簡單的樹模型就來了,還是同樣的任務只不過數(shù)據(jù)的權重發(fā)生了變換,一開始所有的數(shù)據(jù)都是相同的權重,但是第二次會把前面那次預測錯的數(shù)據(jù)的權重增大,相對來說預測對的數(shù)據(jù)的權重就會減小。說白了就是讓后面的模型更注重我之前哪些數(shù)據(jù)分錯了,這回好能分對它!(好比我們在考試前都會復習之前做錯的題)
最后來看一下堆疊模型吧,社會我Stacking,人狠話不多,不需要多解釋,做了一堆算法,然后把它們的結果堆疊起來,每個算法都有自己的預測結果,這些結果組合在一起那不相當于一個新的特征嘛,再把它們結果組成的特征去做一個分類或者回歸,又得到了一個唯一的結果。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03