Adaboost是boosting中較為代表的算法，基本思想是通過訓(xùn)練數(shù)據(jù)的分布構(gòu)造一個分類器，然后通過誤差率求出這個若弱分類器的權(quán)重，通過更新訓(xùn)練數(shù)據(jù)的分布，迭代進(jìn)行，直到達(dá)到迭代次數(shù)或者損失函數(shù)小于某一閾值。

Adaboost的算法流程：

假設(shè)訓(xùn)練數(shù)據(jù)集為T={(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4),(X5,Y5)} 其中Yi={-1,1}

1、初始化訓(xùn)練數(shù)據(jù)的分布

訓(xùn)練數(shù)據(jù)的權(quán)重分布為D={W11,W12,W13,W14,W15},其中W1i=1/N。即平均分配。

2、選擇基本分類器

這里選擇最簡單的線性分類器y=aX+b ，分類器選定之后，最小化分類誤差可以求得參數(shù)。

3、計算分類器的系數(shù)和更新數(shù)據(jù)權(quán)重

誤差率也可以求出來為e1.同時可以求出這個分類器的系數(shù)?；镜腁daboost給出的系數(shù)計算公式為

然后更新訓(xùn)練數(shù)據(jù)的權(quán)重分布，

4、分類器的組合

當(dāng)然這種組合方式基于分類器的系數(shù)的，而分類器的系數(shù)又是根據(jù)誤差率求出來的，所以Adaboots最后影響的就是如何使用誤差率，以及訓(xùn)練數(shù)據(jù)更新權(quán)重的的計算系數(shù)。

5、Adaboost的一些問題

Adaboost中涉及到一些可以進(jìn)行調(diào)整的參數(shù)和計算公式的選擇主要有以下幾點：

**弱分類器如何選擇

**如何更好的實驗誤差率計算分類器的系數(shù)

**如何更好的計算訓(xùn)練數(shù)據(jù)的權(quán)重的分布

**弱分類器如何進(jìn)行組合

**迭代次數(shù)

**損失函數(shù)的閾值選取多少