問題陳述

假設(shè)我們有一個(gè)隨機(jī)樣本X ₁，X ₂，...，X _n，其假設(shè)概率分布取決于某個(gè)未知參數(shù)θ。我們的主要目標(biāo)是找到一個(gè)點(diǎn)估計(jì)器u（X ₁，? X ₂，...，? X _n），使得? u（x ₁，? x ₂，...，? x _n）是一個(gè)“好”點(diǎn)估計(jì)? θ，其中? x ₁，? x ₂，...，? x _n?是隨機(jī)樣本的觀察值。舉例來說，如果我們計(jì)劃采取隨機(jī)樣本? X ₁，? X ₂，...，? X _? ?為其X _我假定均值是正態(tài)分布的μ和方差σ ²，那么我們的目標(biāo)是要找到一個(gè)例如，使用?我們從特定隨機(jī)樣本中獲得的數(shù)據(jù)? x ₁，? x ₂，...，? x _n，對(duì)μ的良好估計(jì)? 。

基本理念

對(duì)未知參數(shù)θ?的良好估計(jì)似乎是合理的，? 即最大化概率的θ?值? ，錯(cuò)誤......即獲得我們觀察到的數(shù)據(jù)的可能性。（那么，你看到“最大可能性”這個(gè)名字來自何處？）因此，簡(jiǎn)而言之，就是最大似然估計(jì)方法背后的想法。但是我們?nèi)绾卧趯?shí)踐中實(shí)施該方法？好吧，假設(shè)我們有一個(gè)隨機(jī)樣本? X ₁，? X ₂，...，? X _n ?，其中每個(gè)X _i的概率密度（或質(zhì)量）函數(shù)是f（x _i;?θ）。然后，X ₁，? X ₂，...，? X _n的聯(lián)合概率質(zhì)量（或密度）函數(shù)? ，我們（不是任意）稱之為L（θ）：

L （θ ）= P （X 1 = x 1，X 2 = x 2，... ，X n = x n）= f （x 1 ; θ ）· f （x 2 ; θ ）? f （x n ; θ ）= ? Π我= 1個(gè) ?F （X 我; θ ）L(θ)=P(X1=x1,X2=x2,…,Xn=xn)=f(x1;θ)?f(x2;θ)?f(xn;θ)=∏i=1nf(xi;θ)

第一個(gè)相等當(dāng)然只是聯(lián)合概率質(zhì)量函數(shù)的定義。第二個(gè)相等來自于我們有一個(gè)隨機(jī)樣本的事實(shí)，這意味著? X _i?是獨(dú)立的。并且，最后的等式只使用索引術(shù)語的乘積的簡(jiǎn)寫數(shù)學(xué)符號(hào)?，F(xiàn)在，最大似然估計(jì)的基本思想的光，進(jìn)行一個(gè)合理的方法是治療的“ 似然函數(shù) ”? 大號(hào)（θ）的函數(shù)? θ，并找到價(jià)值? θ最大化它。