作者 | KHYATI MAHENDRU

概述

• 貝葉斯定理是統(tǒng)計(jì)學(xué)中最強(qiáng)大的概念之一，而貝葉斯定理也是數(shù)據(jù)科學(xué)專業(yè)人員必須知道的定理
• 熟悉貝葉斯定理，其工作原理及其多種多樣的應(yīng)用
• 本文中有許多直觀的例子來(lái)理解貝葉斯定理背后的思想

介紹

概率是許多數(shù)據(jù)科學(xué)算法的核心 。實(shí)際上，解決這么多數(shù)據(jù)科學(xué)問(wèn)題的方法本質(zhì)上都是概率性的-因此，我始終建議在著手研究算法之前，著重學(xué)習(xí)一下統(tǒng)計(jì)數(shù)據(jù)和概率。

但我看到很多有能力的數(shù)據(jù)科學(xué)家都在回避統(tǒng)計(jì)這一方面的知識(shí)，尤其是貝葉斯統(tǒng)計(jì)。許多分析師和數(shù)據(jù)科學(xué)家仍然無(wú)法理解這一點(diǎn)。我相信你們很多人都對(duì)此點(diǎn)頭贊同吧!

貝葉斯定理是貝葉斯統(tǒng)計(jì)的一個(gè)主要方面，是由生活在18世紀(jì)的僧侶托馬斯·貝葉斯（Thomas Bayes）提出的。我們?nèi)栽趯W(xué)習(xí)貝葉斯統(tǒng)計(jì)的這一事實(shí)，表明他的作品在多個(gè)世紀(jì)以來(lái)都具有巨大的影響力！貝葉斯定理使我們能夠解決復(fù)雜的數(shù)據(jù)科學(xué)問(wèn)題，并且仍然領(lǐng)先在世界領(lǐng)先的大學(xué)教授。

在本文中，我們將詳細(xì)探討貝葉斯定理及其應(yīng)用，包括樸素貝葉斯分類器和判別函數(shù)等。本文有很多要解壓的內(nèi)容，讓我們開(kāi)始吧！

目錄

• 貝葉斯定理的前提條件
• 貝葉斯定理是什么？
• 貝葉斯定理的一個(gè)例證
• 貝葉斯定理的應(yīng)用
• 樸素貝葉斯分類器
• 判別函數(shù)和決策面
• 貝葉斯參數(shù)估計(jì)
• 貝葉斯參數(shù)估計(jì)的演示

貝葉斯定理的前提條件

在進(jìn)入貝葉斯定理的世界之前，我們需要了解一些概念。這些概念本質(zhì)上是理解貝葉斯定理的前提條件。

1.實(shí)驗(yàn)

當(dāng)您聽(tīng)到“實(shí)驗(yàn)”一詞時(shí)，您想到的第一張圖片是什么？包括我在內(nèi)的大多數(shù)人都想象有一個(gè)充滿試管和燒杯的化學(xué)實(shí)驗(yàn)室。概率論中的實(shí)驗(yàn)概念實(shí)際上非常相似：

實(shí)驗(yàn)是在受控條件下執(zhí)行的有計(jì)劃的操作。

實(shí)驗(yàn)的例子包括拋硬幣，擲骰子和從洗好的牌中抽出一張。

2.樣本空間

實(shí)驗(yàn)的結(jié)果稱為實(shí)驗(yàn)結(jié)果。事件的所有可能結(jié)果的集合稱為樣本空間。例如，如果我們的實(shí)驗(yàn)是擲骰子并記錄其結(jié)果，則樣本空間將為：

S1 = {1,2,3,4,5,6}

當(dāng)我們?nèi)佑矌艜r(shí)，樣本將是什么？在看到下面的答案之前，請(qǐng)仔細(xì)的想一想：

S2 = {H，T}

3.事件

事件是實(shí)驗(yàn)結(jié)果的集合（即樣本空間的子集）。

讓我們回到擲骰子的實(shí)驗(yàn)中并將事件E和F定義為：

• E =獲得偶數(shù)= {2，4，6}
• F =獲得大于3的數(shù)字= {4，5，6}

這些事件發(fā)生的可能性：

P（E）=有利結(jié)果數(shù)/可能結(jié)果總數(shù)= 3/6 = 0.5 P（F）= 3/6 = 0.5

集合論中的基本運(yùn)算，也就是事件的并集和交集是可能的，因?yàn)橐粋€(gè)事件就是一個(gè)集合。

E∪F= {2，4，5，6}和E∩F= {4，6}

現(xiàn)在考慮一個(gè)事件G =獲得一個(gè)奇數(shù)：

那么E∩G=空集=Φ

這種事件稱為不相交事件。這些也稱為互斥事件，因?yàn)橐淮螌?shí)驗(yàn)只能在兩個(gè)事件中發(fā)生一個(gè)：

4.隨機(jī)變量

隨機(jī)變量的確切含義就像它聽(tīng)起來(lái)的那樣—一個(gè)具有隨機(jī)值的變量，每個(gè)值都有一定的概率（可能為零）。它是在實(shí)驗(yàn)的樣本空間上定義的實(shí)值函數(shù)：

讓我們來(lái)看一個(gè)簡(jiǎn)單的示例（請(qǐng)參考上面的圖片）。在拋硬幣實(shí)驗(yàn)的樣本空間上定義一個(gè)隨機(jī)變量X。如果獲得“ Heads”（正面），則值為+1；如果獲得“ Tails”（反面），則值為-1。然后，X取值為+1和-1，概率為1/2。

假設(shè)Y是某一天某一地點(diǎn)的觀察溫度(攝氏溫度)。因此，我們可以說(shuō)Y是一個(gè)連續(xù)的隨機(jī)變量，定義在相同的空間上，S =[0,100](攝氏溫標(biāo)定義在0攝氏度到100攝氏度之間)。

5.詳盡的事件

如果必須在任何時(shí)間發(fā)生至少一個(gè)事件，則認(rèn)為一組事件是詳盡的。因此，如果A∪B = S，即在樣本空間內(nèi)兩個(gè)事件A和B被認(rèn)為是窮舉性的。

例如，假設(shè)A是從包裝中抽出的紙牌是紅色的事件，B是抽出的紙牌是黑的事件。這里，A和B是窮舉性的，因?yàn)闃颖究臻gS = {red，black}。很簡(jiǎn)單的東西，對(duì)不對(duì)？

6.獨(dú)立事件

如果一個(gè)事件的發(fā)生對(duì)另一事件的發(fā)生沒(méi)有任何影響，則可以說(shuō)這兩個(gè)事件是獨(dú)立的。從數(shù)學(xué)上講，如果滿足以下條件，則兩個(gè)事件A和B被認(rèn)為是獨(dú)立的：

例如，如果A在擲骰子時(shí)獲得5，而B(niǎo)從一副洗的特別好的一堆紙牌中抽出了紅桃K，那么A和B就其定義而言來(lái)說(shuō)就是獨(dú)立的。識(shí)別獨(dú)立事件通常不那么容易，因此我們使用上面提到的公式。

7.條件概率

假設(shè)我們從給定的牌堆中抽出一張牌。是黑牌的概率是多少?很簡(jiǎn)單- 1/2，對(duì)吧?然而，如果我們知道它是一張黑牌，那么它是一張國(guó)王牌的概率是多少?

解決這個(gè)問(wèn)題的方法并不那么簡(jiǎn)單。

這就是條件概率概念起作用的地方。條件概率被定義為一個(gè)事件A發(fā)生的概率，前提是另一個(gè)事件B已經(jīng)發(fā)生(即A條件B)。這由P（A | B）表示，我們可以將其定義為：

P（A | B）= P（A∩B）/ P（B）

讓事件A代表選擇國(guó)王，事件B代表黑牌。然后，使用上述公式找到P（A | B）：

P（A∩B）= P（獲得一張國(guó)王黑卡）= 2/52 P（B）= P（撿黑卡）= 1/2

因此，P（A | B）= 4/52。根據(jù)您選擇的示例進(jìn)行嘗試。這將幫助您很好地掌握整個(gè)概念。

8.邊際概率

它是一個(gè)事件A發(fā)生的概率，獨(dú)立于任何其他事件B，即邊緣化事件B。

邊際概率P（A）= P（A | B）* P（B）+ P（A |?B）* P（?B）

這只是一種奇特的說(shuō)法：

P（A）= P（A∩B）+ P（A∩?B）＃根據(jù)我們對(duì)條件概率的了解

其中?B表示未發(fā)生B的事件。

讓我們來(lái)驗(yàn)證一下邊際概率的概念是否成立。這里，我們需要計(jì)算抽到的隨機(jī)紙牌是紅色(事件a)的概率，答案顯然是1/2。 。讓我們通過(guò)事件B的邊際概率計(jì)算得出國(guó)王的概率。

P（A∩B）= 2/52（因?yàn)橛袃蓚€(gè)是紅色的國(guó)王，一個(gè)是紅心，另一個(gè)是方塊）

并且P（A∩?B）= 24/52（紅色的剩余的牌） 因此，P（A）= 2/52 + 24/52 = 26/52 = 1/2

完美！因此，這足以涵蓋我們貝葉斯定理的基礎(chǔ)知識(shí)。現(xiàn)在讓我們花一些時(shí)間來(lái)了解貝葉斯定理的確切含義以及其工作原理。

貝葉斯定理是什么？

你看過(guò)熱門電視劇《神探夏洛克》(或任何犯罪驚悚劇)嗎?想想看，我們對(duì)罪魁禍?zhǔn)椎目捶ㄔ谡锒荚诟淖?。我們處理新的證據(jù)，并在每一步完善我們的假設(shè)。這就是現(xiàn)實(shí)生活中的貝葉斯定理!

現(xiàn)在，讓我們從數(shù)學(xué)上理解它。這將是相當(dāng)簡(jiǎn)單的，因?yàn)槲覀兊幕A(chǔ)是清楚的。

假設(shè)A和B是樣本空間S中P(B)≠0的任意兩個(gè)事件。利用我們對(duì)條件概率的理解，我們有:

P(A|B) = P(A∩B) / P(B) 類似地，P(B|A) = P(A∩B) / P(A) 由此可見(jiàn),P (A∩) = P (A | B) * P (B) = P (B |) * P (A) 因此，P(A|B) = P(B|A)*P(A) / P(B)

這就是貝葉斯定理。

這里，P(A)和P(B)是獨(dú)立觀察A和B的概率。這就是為什么我們說(shuō)它們是邊際概率。P(B|A)和P(A|B)是條件概率。

P（A）稱為先驗(yàn)概率，P（B）稱為證據(jù)。

P（B）= P（B | A）* P（A）+ P（B |?A）* P（?A）

P（B | A）稱為可能性，P（A | B）稱為后驗(yàn)概率。

等價(jià)地，貝葉斯定理可以寫成:

后驗(yàn)=可能性*先驗(yàn)/證據(jù)

這些詞聽(tīng)起來(lái)可能很花哨，但它們背后的基本思想其實(shí)很簡(jiǎn)單。當(dāng)你有任何疑問(wèn)的時(shí)候，你可以回到這個(gè)部分進(jìn)行查看。

貝葉斯定理的一個(gè)例證

我們用貝葉斯定理來(lái)解決一個(gè)問(wèn)題。這將幫助你理解和想象你可以在哪里應(yīng)用它。我們舉一個(gè)例子，我相信幾乎所有人都在學(xué)校里見(jiàn)過(guò)。

有3個(gè)分別標(biāo)記為A，B和C的盒子：

• 盒子A包含2個(gè)紅色和3個(gè)黑色的球
• 盒子B包含3個(gè)紅色和1個(gè)黑色的球
• 盒子C包含1個(gè)紅球和4個(gè)黑球

這三個(gè)盒子是一樣的，被選中的概率是一樣的。假設(shè)選擇了一個(gè)紅色的球。那么這個(gè)紅球從框A中取出的概率是多少?

設(shè)E表示一個(gè)紅色球被選中的事件，A、B、C表示各自的盒子被選中。我們需要計(jì)算條件概率P(A|E)。

我們有先驗(yàn)概率P（A）= P（B）= P（C）= 1/3，因?yàn)樗泻凶佣加邢嗤谋贿x取的概率。 P(E|A) =盒子A中紅色球的數(shù)量/盒子A中紅色球的總數(shù)= 2 / 5 同理，P(E|B) = 3 / 4, P(E|C) = 1 / 5 

然后證據(jù)P (E) = P (E |) * P (A) + P (E | B) * P (B) + P (E | C) * P (C) = (2/5)* (1/3)+ (3/4)* (1/3)+ (1/5)* (1/3)= 0.45 因此,P (A | E) = P (E |) * P (A) / P (E) = (2/5) * (1/3) / 0.45 = 0.296

貝葉斯定理的應(yīng)用

貝葉斯定理在現(xiàn)實(shí)世界中有很多應(yīng)用。如果你不能馬上理解所有涉及的數(shù)學(xué)，也不要擔(dān)心。只要了解它是如何工作的就足夠了。

貝葉斯決策理論是解決模式分類問(wèn)題的一種統(tǒng)計(jì)方法。根據(jù)這一理論，假定類別的潛在概率分布是已知的。因此，我們得到了一個(gè)理想的貝葉斯分類器，所有其他分類器都根據(jù)它來(lái)判斷性能。

我們將討論貝葉斯定理的三個(gè)主要應(yīng)用：

• 樸素貝葉斯分類器
• 判別函數(shù)和決策面
• 貝葉斯參數(shù)估計(jì)

讓我們?cè)敿?xì)查看每個(gè)應(yīng)用。

樸素貝葉斯分類器

這可能是貝葉斯定理最著名的應(yīng)用，甚至可能是最強(qiáng)大的。在機(jī)器學(xué)習(xí)中你會(huì)經(jīng)常遇到樸素貝葉斯算法。

樸素貝葉斯分類器是基于貝葉斯定理的一組概率分類器。這些分類器的基本假設(shè)是，用于分類的所有功能都彼此獨(dú)立。那就是“樸素”這個(gè)名字的來(lái)歷，因?yàn)楹苌儆形覀儷@得一套完全獨(dú)立的功能。

這些分類器的工作方式與我們?cè)诓鍒D中解決的方法完全相同，只是假設(shè)了更多相互獨(dú)立的特性。

這里，我們需要找到概率P(Y|X)其中X是一個(gè)n維隨機(jī)變量，其組成隨機(jī)變量X1, X2，…， X_n相互獨(dú)立:

類似的，因?yàn)闂l件獨(dú)立

代入(1)，得到

最后，P（Y | X）最大的Y是我們的預(yù)測(cè)類。

判別函數(shù)和曲面

這個(gè)名字很不言自明。判別函數(shù)用于將其參數(shù)“區(qū)分”到其相關(guān)類中。想要一個(gè)例子嗎？那就來(lái)一個(gè)！

如果你研究過(guò)機(jī)器學(xué)習(xí)中的分類問(wèn)題，你可能會(huì)遇到支持向量機(jī)(SVM)。支持向量機(jī)算法通過(guò)尋找最佳分離訓(xùn)練樣本的微分超平面來(lái)對(duì)向量進(jìn)行分類。這個(gè)超平面可以是線性的，也可以是非線性的:

這些超平面是我們的決策平面，這個(gè)超平面的方程是我們的判別函數(shù)。

好了-現(xiàn)在讓我們正式討論這個(gè)話題。

w1，w2，…..，w_c表示我們的數(shù)據(jù)向量X可以分類的c個(gè)類。然后，決策規(guī)則變?yōu)椋?/span>

對(duì)于所有j≠i，如果g_i（X）> g_j（X），則確定w_i

這些函數(shù)gi(X) i = 1,2，…，稱為判別函數(shù)。這些函數(shù)將向量空間分割成c決策區(qū)域——R1, R2，…， Rc對(duì)應(yīng)于每個(gè)c類。這些區(qū)域的邊界稱為決策面或邊界。

如果gi(X) = gj(X)是c判別函數(shù)中最大的值，那么將向量X劃分為wi類和wj類是不明確的。因此，X位于一個(gè)判定邊界或曲面上。

查看下圖：

這是個(gè)很酷的概念，對(duì)吧?將二維向量空間分成R1和R2兩個(gè)決策區(qū)域，用兩個(gè)雙曲線將兩個(gè)決策區(qū)域分隔開(kāi)。

注意，如果f(.)是一個(gè)單調(diào)遞增的函數(shù)，那么任何函數(shù)f(g_i(X))也可以用作判別函數(shù)。對(duì)數(shù)函數(shù)是f(.)的常用選擇。

現(xiàn)在，考慮兩個(gè)類別的情況下使用類w ^ _1和W_2。“ 最小錯(cuò)誤率分類 ”決策規(guī)則變?yōu)椋?/span>

如果P(w_1|X) > P(w_2|X)，則判定w_1，否則判定w_2 P(error|X) = min{P(w_1|X)，P(w_2|X)}

P(w_i|X)是一個(gè)條件概率，可以用貝葉斯定理來(lái)計(jì)算。因此，我們可以根據(jù)可能性和先驗(yàn)來(lái)重申決策規(guī)則:

如果P(X|w_1)*P(w_1) > P(X|w_2)*P(w_2)，則判定w_1，否則判定w_2

請(qǐng)注意，分母上的“證據(jù)”只是用于縮放，因此我們可以從決策規(guī)則中消除它。

因此，判別函數(shù)的一個(gè)明顯選擇是：

g_i(X) = P(X|w_i)*P(w_i) 或 g_i(X) = ln(P(X|w_i)) + ln(P(w_i))

兩類情況一般可用一個(gè)判別函數(shù)進(jìn)行分類。

g(X) = g_1(X) - g_2(X) = ln(P(X|w_1) / P(X|w_2)) + ln(P(w_1) / P(w_2)) 判斷w_1，如果g(X) >為0 判斷w_2，如果g(X) < 0 如果g(X) = 0，則X位于決策面。

在上圖中，g(X)是二維向量X中的一個(gè)線性函數(shù)。然而，更復(fù)雜的決策邊界也是有可能的:

貝葉斯參數(shù)估計(jì)

這是貝葉斯定理的第三個(gè)應(yīng)用。我們將使用單變量高斯分布和一些數(shù)學(xué)知識(shí)來(lái)理解它。不要擔(dān)心它看起來(lái)很復(fù)雜——我已經(jīng)把它分解成容易理解的術(shù)語(yǔ)。

你一定聽(tīng)說(shuō)過(guò)超級(jí)流行的IMDb Top 250。這是250部有史以來(lái)最受歡迎的電影?！缎ど昕说木融H》在榜單上排名第一，評(píng)分9.2/10。

你認(rèn)為這些評(píng)級(jí)是如何計(jì)算的?IMDb使用的原始公式聲稱使用“真正的貝葉斯估計(jì)”。此后，這個(gè)公式發(fā)生了變化，沒(méi)有公開(kāi)披露。下面是之前的公式:

W=加權(quán)評(píng)級(jí)

R=從1到10的電影平均(平均值)=(評(píng)級(jí))

v=電影的投票數(shù)=(投票)

m=進(jìn)入前250名所需的最低票數(shù)(目前為25,000)

C= 整個(gè)報(bào)告的平均投票數(shù)(目前為7.0)

最終評(píng)級(jí)W是R和C的加權(quán)平均值，分別用權(quán)重v和m表示。m是先驗(yàn)估計(jì)。

• 當(dāng)票數(shù)v增加并超過(guò)m時(shí)，所需的最小票數(shù)W接近電影的平均票數(shù)R
• 當(dāng)v接近于0(投給電影的投票數(shù)更少)，W接近所有電影的平均評(píng)級(jí)，C

我們通常沒(méi)有關(guān)于分類問(wèn)題的概率性質(zhì)的完整信息。相反，我們對(duì)情況有一個(gè)模糊的概念，以及一些訓(xùn)練的例子。然后我們使用這些信息來(lái)設(shè)計(jì)一個(gè)分類器。

基本思想是潛在的概率分布具有一個(gè)已知形式。因此，我們可以使用參數(shù)向量Θ對(duì)其進(jìn)行描述。例如，可以用Θ= [μ，σ2]描述高斯分布。

然后，我們需要估計(jì)這個(gè)向量。這通常通過(guò)兩種方式實(shí)現(xiàn):

• 最大似然估計(jì)（MLE）： 假設(shè)是底層的概率分布p(Θ)未知但固定參數(shù)向量。最佳估計(jì)最大化似然函數(shù):

p (D |θ)= p (x1 |θ)* p (x2 |θ)* ....* p (xn |θ)=相對(duì)于樣本D集合的θ似然

• 貝葉斯參數(shù)估計(jì) –在貝葉斯學(xué)習(xí)中，Θ是一個(gè)隨機(jī)變量，而不是MLE中的“未知但固定”值。我們使用訓(xùn)練的例子將此變量的分布轉(zhuǎn)換為后驗(yàn)概率密度。

我們可以將其非正式地寫為：

P（Θ|數(shù)據(jù)）= P（數(shù)據(jù)|Θ）* P（Θ）/ P（數(shù)據(jù)），其中數(shù)據(jù)表示訓(xùn)練示例集

你需要知道的關(guān)鍵點(diǎn)：

1. 我們假設(shè)概率密度p(X)是未知的，但具有已知的參數(shù)形式。因此,可以說(shuō),p (X |Θ)完全是已知的
2. 我們可能擁有的關(guān)于Θ的任何先驗(yàn)信息都包含在已知的先驗(yàn)概率密度p（Θ）中
3. 我們使用訓(xùn)練樣本來(lái)找到后驗(yàn)密度p（Θ| data）。這應(yīng)該在Θ的真實(shí)值處急劇達(dá)到峰值
4. 
   

貝葉斯參數(shù)估計(jì)的證明–單變量高斯案例

讓我來(lái)演示一下貝葉斯參數(shù)估計(jì)是如何工作的。這將進(jìn)一步明確我們剛才提到的理論。

首先,讓p (X)是正態(tài)分布的均值μ和方差σ2,μ是唯一我們希望估計(jì)未知參數(shù)。然后:

p(X|Θ) = p(X|μ) ~ N(μ, σ2)

我們將在這里簡(jiǎn)化數(shù)學(xué)。因此， 讓先驗(yàn)概率密度p(μ)也是正態(tài)分布與平均μ和方差σ2(這都是已知的)。

在此，將p（Θ| data）= p（μ| data）稱為繁殖密度，將p（Θ）= p（μ）稱為共軛先驗(yàn)。

a是歸一化常數(shù)

由于樣本是相互獨(dú)立的，

帶入（2）

現(xiàn)在，我們把概率密度替換成我們一開(kāi)始描述的那樣

由于exp（）中的此參數(shù)是μ的二次方，因此它表示一個(gè)正常的密度。因此，如果我們有n個(gè)訓(xùn)練示例，我們可以說(shuō)p（μ| data）正態(tài)分布為均值μn和方差σn2，其中

以下是我的觀察：

1. 隨著n的增加，σ_n2減小。因此，我們估計(jì)中的不確定性降低
2. 由于不確定性降低，因此密度曲線在其平均值μ_n處急劇上升：