機(jī)器學(xué)習(xí)故事匯-梯度下降

今天咱們的故事繼續(xù)上一次線性回歸來說，還不熟悉的小伙伴機(jī)票在這！機(jī)票直達(dá)-線性回歸

當(dāng)時(shí)咱們?cè)趺磭Z的，是不是很多情況下要求解的目標(biāo)沒辦法直接求呀！那該怎么辦呢？咱們來用機(jī)器學(xué)習(xí)中最常用的套路-優(yōu)化求解，也就是一步一步朝著最優(yōu)解的方向前進(jìn)！

首先給出目標(biāo)函數(shù)（還記得線性回歸中的目標(biāo)函數(shù)嗎？）也就是我們要達(dá)到的目標(biāo)是使得目標(biāo)函數(shù)最?。ㄗ钚?duì)應(yīng)著梯度下降問題，也就是下山，那么最大也就是梯度上升，求極大值）可以把我們的優(yōu)化目標(biāo)看成一座山，山是由我們兩個(gè)參數(shù)組成的，從上圖可以看出在山中有一個(gè)山谷的最低點(diǎn)，這個(gè)最低點(diǎn)所對(duì)應(yīng)的參數(shù)就是我們要求解的值！

那該怎么求解呢？下山要一步一步來，第一步要找到合適的下山方向，也就是參數(shù)所對(duì)應(yīng)的梯度方向（偏導(dǎo)）因?yàn)槲覀円刂羁斓姆较蛉ハ律?，所以梯度的方向是最合適的（多個(gè)參數(shù)的時(shí)候需要各自求其偏導(dǎo)）。找到方向之后我們就該實(shí)際的去走啦，那一次走多大呢？經(jīng)驗(yàn)表明一次走那么一小小小小步是比較合適的，因?yàn)槿绻椒ヌ笕菀灼x全局最優(yōu)解只得到局部最優(yōu)解。方向與步長都搞定了，接下來按著我們?cè)O(shè)計(jì)好的路線更新參數(shù)就可以啦！

下山的方式也有很多種，我們來對(duì)比一下。
批量梯度下降：如上式需要綜合考慮所有養(yǎng)那本，這就太慢了，但是效果還是蠻好的。
隨機(jī)梯度下降：觀察發(fā)現(xiàn)，每一次進(jìn)行參數(shù)更新，只選擇了一個(gè)樣本，這樣速度極快，但是代價(jià)就是一旦樣本有瑕疵，會(huì)對(duì)結(jié)果產(chǎn)生很大的干擾!所以隨機(jī)梯度下降會(huì)產(chǎn)生很大的浮動(dòng)。
小批量梯度下降：這個(gè)就友好多了，綜合了上面兩位的優(yōu)缺點(diǎn)，在迭代的時(shí)候選擇一批（32，64，128比較常見）個(gè)樣本來平均計(jì)算梯度的更新方向，這個(gè)就是現(xiàn)在應(yīng)用最廣的梯度下降方法啦！一個(gè)字，實(shí)用！

接下來我們?cè)賮硌芯恳幌虏介L（學(xué)習(xí)率）對(duì)結(jié)果產(chǎn)生的影響，從圖中可以看到很多條線并且它們之間有著明顯的差異，為啥模型不收斂！效果不好！沒達(dá)標(biāo)！罪魁禍?zhǔn)拙褪菍W(xué)習(xí)率了，它對(duì)我們結(jié)果會(huì)產(chǎn)生非常大的影響，一般情況下我們都是用較小的學(xué)習(xí)率，較多的迭代次數(shù)來滿足它！

這張圖是一個(gè)在真實(shí)數(shù)據(jù)集下使用邏輯回歸進(jìn)行迭代的目標(biāo)函數(shù)變化情況，可以看到當(dāng)我們使用梯度下降的時(shí)候目標(biāo)函數(shù)最終達(dá)到了一個(gè)收斂狀態(tài)，現(xiàn)在已經(jīng)最好了嗎？我們可以再增大些迭代次數(shù)再看看！

繼續(xù)增大迭代次數(shù)，發(fā)現(xiàn)目標(biāo)函數(shù)又發(fā)生了變化，所以要讓模型更完美，需要更多輪次的訓(xùn)練！我們?cè)賮韺?duì)比下不同的梯度下降策略！

這張圖看起來有點(diǎn)亂呀，沒有達(dá)到熟練狀態(tài)，損失函數(shù)值還在亂蹦跶，這個(gè)就是隨機(jī)梯度下降的結(jié)果，可以看出來這樣的模型是不好的，只用一個(gè)樣本來更新參數(shù)是不夠的！所以現(xiàn)在我們很少使用隨機(jī)梯度下降來解決實(shí)際問題。（那真的沒辦法用它了嗎？也可以代價(jià)就是用極小的學(xué)習(xí)率配上極大的迭代次數(shù)，那為啥不用小批量的呢？）

最后的這張圖就是收尾圖啦，首先觀察只用了4000次迭代就比之前的效果要好很多！這里做了如下兩個(gè)工作。
（1）：對(duì)數(shù)據(jù)進(jìn)行了標(biāo)準(zhǔn)化，讓數(shù)據(jù)各個(gè)特征均值為0方差為（數(shù)據(jù)預(yù)處理的常規(guī)套路）
（2）：使用了小批量梯度下降進(jìn)行迭代（保證了收斂性同時(shí)也加快了速度）
兩個(gè)簡單的操作就使得我們的模型效果快速達(dá)到了收斂狀態(tài)，請(qǐng)記住這倆套路，你會(huì)一直沿用下去的！