問：

線性回歸的最小二乘法法中是如何求參數(shù)θ？

答：

給定一個(gè)概率分布D，假定其概率密度函數(shù)（連續(xù)分布）或概率聚集函數(shù)（離散分布）為fD，以及一個(gè)分布參數(shù)θ，我們可以從這個(gè)分布中抽出一個(gè)具有n個(gè)值的采樣X1,X2,...,Xn，通過利用fD，我們就能計(jì)算出其概率：

但是，我們可能不知道θ的值，盡管我們知道這些采樣數(shù)據(jù)來自于分布D。那么我們?nèi)绾尾拍芄烙?jì)出θ呢？一個(gè)自然的想法是從這個(gè)分布中抽出一個(gè)具有n個(gè)值的采樣X1,X2,...,Xn，然后用這些采樣數(shù)據(jù)來估計(jì)θ。

一旦我們獲得，我們就能從中找到一個(gè)關(guān)于θ的估計(jì)。最大似然估計(jì)會(huì)尋找關(guān)于 θ的最可能的值（即，在所有可能的θ取值中，尋找一個(gè)值使這個(gè)采樣的“可能性”最大化）。這種方法正好同一些其他的估計(jì)方法不同，如θ的非偏估計(jì)，非偏估計(jì)未必會(huì)輸出一個(gè)最可能的值，而是會(huì)輸出一個(gè)既不高估也不低估的θ值。

要在數(shù)學(xué)上實(shí)現(xiàn)最大似然估計(jì)法，我們首先要定義可能性：

并且在θ的所有取值上，使這個(gè)函數(shù)最大化。這個(gè)使可能性最大的值即被稱為θ的最大似然估計(jì)。

原文鏈接：

https://baike.baidu.com/item/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1/4967925?fr=aladdin