從導數(shù)的物理意義理解梯度下降

機器學習中常會用隨機梯度下降法求解一個目標函數(shù) L(Θ) 的優(yōu)化問題，并且常是最小化的一個優(yōu)化問題： 
min L(Θ) 
我們所追求的是目標函數(shù)能夠快速收斂或到達一個極小值點。而隨機梯度法操作起來也很簡單，不過是求偏導數(shù)而已，但是為什么是這樣呢？為什么算個偏導數(shù)就能說下降得最快？初期并不很明了，后來看過一些數(shù)學相關(guān)的知識才稍微明白了一點，一下內(nèi)容算是一個理解梯度的漸進過程。如果不當之處，歡迎指正。

以下關(guān)于梯度下降法，導數(shù)，偏導數(shù)的內(nèi)容可在維基百科中找到，關(guān)于方向?qū)?shù)與梯度的內(nèi)容可在高等數(shù)學書中找到。

梯度下降法

梯度下降法（Gradient descent）是一個最優(yōu)化算法，通常也稱為最速下降法。

梯度下降法，基于這樣的觀察：如果實值函數(shù)F(x)在點a處可微且有定義，那么函數(shù)F(x)在a點沿著梯度相反的方向 ??F(a) 下降最快。

因而，如果b=a?γ?F(a) 
對于γ>0為一個夠小數(shù)值時成立，那么F(a)≥F(b)。

考慮到這一點，我們可以從函數(shù)F的局部極小值的初始估計 x0 出發(fā)，并考慮如下序列

x0, x1, x2, …

使得xn+1=xn?γn?F(xn), n≥0。

因此可得到 
F(x0)≥F(x1)≥F(x2)≥?,

如果順利的話序列(xn)收斂到期望的極值。注意每次迭代步長γ可以改變。

下面的圖片示例了這一過程，這里假設(shè)F定義在平面上，并且函數(shù)圖像是一個碗形。藍色的曲線是等高線（水平集），即函數(shù)F為常數(shù)的集合構(gòu)成的曲線。紅色的箭頭指向該點梯度的反方向。（一點處的梯度方向與通過該點的等高線垂直）。沿著梯度下降方向，將最終到達碗底，即函數(shù)F值最小的點。

求解機器學習中的min問題，可以采用梯度下降法。

為何可能會有下面的缺點，可在梯度下降法的維基百科中看到更多內(nèi)容。這里僅當一個搬運工而已，梯度下降法的缺點：

靠近極小值時速度減慢。

直線搜索可能會產(chǎn)生一些問題。

可能會’之字型’地下降。

導數(shù)

導數(shù)（Derivative）是微積分學中重要的基礎(chǔ)概念。一個函數(shù)在某一點的導數(shù)描述了這個函數(shù)在這一點附近的變化率。導數(shù)的本質(zhì)是通過極限的概念對函數(shù)進行局部的線性逼近。

當函數(shù) f 的自變量在一點 x0 上產(chǎn)生一個增量 h 時， 
函數(shù)輸出值的增量與自變量增量h的比值在h趨于0時的極限如果存在，即為f在x0處的導數(shù)，記作f′(x0)、dfdx(x0)或dfdx∣∣x=x0.

幾何意義上導數(shù)表示函數(shù)在這一點切線的斜率。

偏導數(shù)

在數(shù)學中，一個多變量的函數(shù)的偏導數(shù)是它關(guān)于其中一個變量的導數(shù)，而保持其他變量恒定（相對于全導數(shù)，在其中所有變量都允許變化）。

假設(shè)?是一個多元函數(shù)。例如：

z=f(x,y)=x2+xy+y2

f=x2+xy+y2的圖像。我們希望求出函數(shù)在點（1, 1, 3）的對x的偏導數(shù)；對應(yīng)的切線與xOz平面平行。 
因為曲面上的每一點都有無窮多條切線，描述這種函數(shù)的導數(shù)相當困難。偏導數(shù)就是選擇其中一條切線，并求出它的斜率。通常，最感興趣的是垂直于y軸（平行于xOz平面）的切線，以及垂直于x軸（平行于yOz平面）的切線。

一種求出這些切線的好辦法是把其他變量視為常數(shù)。例如，欲求出以上的函數(shù)在點（1, 1, 3）的與xOz平面平行的切線。上圖中顯示了函數(shù)f=x2+xy+y2的圖像以及這個平面。下圖中顯示了函數(shù)在平面y = 1上是什么樣的。我們把變量y視為常數(shù)，通過對方程求導，我們發(fā)現(xiàn)?在點（x, y, z）的。我們把它記為： 
?z?x=2x+y，于是在點（1, 1, 3）的與xOz平面平行的切線的斜率是3。?f?x=3 在點（1, 1, 3），或稱“f在（1, 1, 3）的關(guān)于x的偏導數(shù)是3”。

在幾何意義上偏導數(shù)即為函數(shù)在坐標軸方向上的變化率。

方向?qū)?shù)

方向?qū)?shù)是分析學特別是多元微積分中的概念。一個標量場在某點沿著某個向量方向上的方向?qū)?shù)，描繪了該點附近標量場沿著該向量方向變動時的瞬時變化率。方向?qū)?shù)是偏導數(shù)的概念的推廣。

方向?qū)?shù)定義式：

方向?qū)?shù)計算公式（在推導方向?qū)?shù)與梯度關(guān)系時用到）：

幾何意義上方向?qū)?shù)為函數(shù)在某點沿著其他特定方向上的變化率。

梯度

在一個數(shù)量場中，函數(shù)在給定點處沿不同的方向，其方向?qū)?shù)一般是不相同的。那么沿著哪一個方向其方向?qū)?shù)最大，其最大值為多少，為此引進一個很重要的概念–梯度。函數(shù)在點p0處沿哪一方向增加的速度最快？

方向?qū)?shù)與梯度的關(guān)系 

函數(shù)在某一點處的方向?qū)?shù)在其梯度方向上達到最大值，此最大值即梯度的范數(shù)。

這就是說，沿梯度方向，函數(shù)值增加最快。同樣可知，方向?qū)?shù)的最小值在梯度的相反方向取得，此最小值為最大值的相反數(shù)，從而沿梯度相反方向函數(shù)值的減少最快。詳細內(nèi)容：方向?qū)?shù)與梯度。

在機器學習中往往是最小化一個目標函數(shù)L，理解了上面的內(nèi)容，便很容易理解在SGD中常用的更新公式：

θ=θ?γ?L?θ

γ在機器學習中常被稱為學習率(learning rate),也就是上面梯度下降法中的步長。

通過算出目標函數(shù)的梯度并在其反方向更新完參數(shù)θ，在此過程完成后也便是達到了函數(shù)值減少最快的效果，經(jīng)過迭代以后目標函數(shù)即可很快地到達一個極小值。