機(jī)器學(xué)習(xí)中的概率問題

機(jī)器學(xué)習(xí)的過程可以理解為計(jì)算機(jī)通過分析大量的數(shù)據(jù)獲得模型，并通過獲得的模型進(jìn)行預(yù)測的過程。機(jī)器學(xué)習(xí)的模型可以有多種表示，例如線性回歸模型，SVM模型，決策樹模型，貝葉斯模型。

概率類型

在理解概率模型之前，首先要理解的各種概率類型所表示的確切含義。

1.先驗(yàn)概率

某事件發(fā)生的概率。

2.條件概率

在某種條件下，事件A發(fā)生的概率，可以是基于歷史數(shù)據(jù)的統(tǒng)計(jì)，可以由背景常識(shí)得出，也可以是人的主觀觀點(diǎn)給出。一般都是單獨(dú)事件概率，如P(x),P(y)。

3.后驗(yàn)概率

條件概率的一種特殊情況，它限定了事件為隱變量取值(不可觀測)，而條件為觀測結(jié)果。

4.聯(lián)合概率

表示多個(gè)事件同時(shí)發(fā)生的概率。

5.似然概率

條件概率的一種，針對參數(shù)而言，意思是某參數(shù)(某事件發(fā)生的概率)取得某一值得概率。

正向過程（普通概率）：給定參數(shù)后，預(yù)測即將發(fā)生的事件的可能性，以投擲硬幣為例，已知一枚均勻硬幣，投擲出正反面的概率均為0.5(給出的參數(shù))，求投擲兩次硬幣都朝上的概率。

逆向過程（似然概率）：給定事件發(fā)生的可能性，求解參數(shù)為某一值得可能性，以投擲硬幣為例，已知一枚均勻硬幣，投擲兩次都是正面朝上(條件)，求正面朝上的概率為0.5的可能性是多少。

求正面朝上概率為x的似然：

通過計(jì)算不同的正面朝上的概率的可能性，可以得到一條似然函數(shù)曲線：

似然函數(shù)曲線

最大似然概率，最大似然概率，在已知觀測數(shù)據(jù)的條件下，找到使似然概率最大的參數(shù)值作為真實(shí)的參數(shù)估計(jì)。例如從似然函數(shù)曲線中可以得知，當(dāng)PH=1時(shí)，似然函數(shù)取得最大值。

預(yù)測模型的概率表示

在這里我們假設(shè)已有的數(shù)據(jù)為X，可能出現(xiàn)的結(jié)果為Y，每一個(gè)可能的結(jié)果Y都對應(yīng)一個(gè)給出數(shù)據(jù)X下的條件概率。

機(jī)器學(xué)習(xí)最終得到的結(jié)果是實(shí)現(xiàn)該條件的概率的最大化。

決策函數(shù)和條件概率

決策函數(shù)都是很熟悉了，在線性回歸，SVM，神經(jīng)網(wǎng)絡(luò)中使用的都是決策函數(shù)Y=f(X)，在貝葉斯分類中使用的是條件概率分布P(Y|X)。

條件概率分布模型可表示成決策函數(shù)

決策函數(shù)中隱含著條件概率

例如在線性回歸模型中，通過不斷訓(xùn)練是誤差平方最小化，而誤差平方最小化是根據(jù)極大似然假設(shè)推導(dǎo)而出的。

所以依據(jù)決策函數(shù)得到的結(jié)果滿足極大似然概率，同時(shí)滿足最大條件概率。

判別式模型和生成式模型

實(shí)現(xiàn)上述過程，基于是否對P(x|y)直接操作來區(qū)分有兩種策略：

判別式模型：由數(shù)據(jù)直接對P(x|y)或決策函數(shù)f(x)進(jìn)行建模，例如線性回歸模型，SVM，決策樹等，這些模型都預(yù)先制定了模型的格式，所需要的就是通過最優(yōu)化的方法學(xué)到最優(yōu)參數(shù)Θ即可。

生成式模型:這種策略并不直接對P(Y|X)進(jìn)行建模，而是先對聯(lián)合概率分布P(X,Y)進(jìn)行建模，然后依據(jù)貝葉斯公式P(Y|X)=P(X,Y)P(X)間接的得到我們所期望的模型P(Y|X)，這種策略最常見的算法就是我們接下來要介紹的貝葉斯分類器算法