梯度下降法的優(yōu)化思想：用當(dāng)前位置負(fù)梯度方向作為搜索方向，因?yàn)樵摲较驗(yàn)楫?dāng)前位置的最快下降方向，所以也被稱為是”最速下降法“。最速下降法越接近目標(biāo)值，步長越小，前進(jìn)越慢。
缺點(diǎn)：
靠近極小值時(shí)收斂速度減慢，求解需要很多次的迭代；
直線搜索時(shí)可能會(huì)產(chǎn)生一些問題；
可能會(huì)“之字形”地下降。

牛頓法
牛頓法最大的特點(diǎn)就在于它的收斂速度很快。
優(yōu)點(diǎn)：二階收斂，收斂速度快；
缺點(diǎn)：
牛頓法是一種迭代算法，每一步都需要求解目標(biāo)函數(shù)的Hessian矩陣的逆矩陣，計(jì)算比較復(fù)雜。
牛頓法收斂速度為二階，對(duì)于正定二次函數(shù)一步迭代即達(dá)最優(yōu)解。
牛頓法是局部收斂的，當(dāng)初始點(diǎn)選擇不當(dāng)時(shí)，往往導(dǎo)致不收斂；
二階海塞矩陣必須可逆，否則算法進(jìn)行困難。
關(guān)于牛頓法和梯度下降法的效率對(duì)比：
從本質(zhì)上去看，牛頓法是二階收斂，梯度下降是一階收斂，所以牛頓法就更快。如果更通俗地說的話，比如你想找一條最短的路徑走到一個(gè)盆地的最底部，梯度下降法每次只從你當(dāng)前所處位置選一個(gè)坡度最大的方向走一步，牛頓法在選擇方向時(shí)，不僅會(huì)考慮坡度是否夠大，還會(huì)考慮你走了一步之后，坡度是否會(huì)變得更大。所以，可以說牛頓法比梯度下降法看得更遠(yuǎn)一點(diǎn)，能更快地走到最底部。（牛頓法目光更加長遠(yuǎn)，所以少走彎路；相對(duì)而言，梯度下降法只考慮了局部的最優(yōu)，沒有全局思想。）
根據(jù)wiki上的解釋，從幾何上說，牛頓法就是用一個(gè)二次曲面去擬合你當(dāng)前所處位置的局部曲面，而梯度下降法是用一個(gè)平面去擬合當(dāng)前的局部曲面，通常情況下，二次曲面的擬合會(huì)比平面更好，所以牛頓法選擇的下降路徑會(huì)更符合真實(shí)的最優(yōu)下降路徑。