線性回歸是一種非常常見的統(tǒng)計方法，它允許我們從給定的連續(xù)數(shù)據(jù)集中學(xué)習(xí)函數(shù)或關(guān)系。例如，我們給出了一些數(shù)據(jù)點x和相應(yīng)的數(shù)據(jù)點，y我們需要學(xué)習(xí)它們之間的關(guān)系，稱為假設(shè)。

在線性回歸的情況下，假設(shè)是一條直線，即，

w是一個名為Weights的向量，b是一個名為Bias的標(biāo)量。權(quán)重和偏差稱為模型的參數(shù)。

我們需要做的就是從給定的數(shù)據(jù)集中估計w和b的值，以便得到的假設(shè)產(chǎn)生最小的成本J，該成本由以下成本函數(shù)定義，

其中m是給定數(shù)據(jù)集中的數(shù)據(jù)點的數(shù)量。此成本函數(shù)也稱為均方誤差。

為了找到J最小參數(shù)的優(yōu)化值，我們將使用一種常用的優(yōu)化算法Gradient Descent。以下是Gradient Descent的偽代碼：

Repeat untill Convergence {
    w = w - α * δJ/δw
    b = b - α * δJ/δb
}

α是稱為學(xué)習(xí)率的超參數(shù)。