樸素貝葉斯方法是一組監(jiān)督學(xué)習(xí)算法，基于貝葉斯定理應(yīng)用給定類變量值的每對特征之間的條件獨(dú)立性的“天真”假設(shè)。在給定類變量y和從屬特征向量x1到xn，貝葉斯定理表明了以下關(guān)系：

使用條件獨(dú)立假設(shè)

對于所有i，這種關(guān)系被簡化為

由于P(x1,…,xn)在輸入時是常數(shù)，我們可以使用以下分類規(guī)則：

我們可以使用最大后驗(yàn)（MAP）估計(jì)來估計(jì) P(y)和P(xi∣y) ; 前者是 訓(xùn)練集中y類的相對頻率。

不同的樸素貝葉斯分類器主要不同于它們對P(xi∣y)分布的假設(shè)。

盡管它們顯然過于簡化了假設(shè)，但樸素的貝葉斯分類器在許多實(shí)際情況中都運(yùn)行良好，著名的是文檔分類和垃圾郵件過濾。他們需要少量的訓(xùn)練數(shù)據(jù)來估計(jì)必要的參數(shù)。（由于理論上的原因，為什么樸素貝葉斯運(yùn)行良好，以及它的數(shù)據(jù)類型，請參閱下面的參考資料。）

與更復(fù)雜的方法相比，樸素貝葉斯學(xué)習(xí)者和分類器可以非常快。類條件特征分布的解耦意味著每個分布可以獨(dú)立地估計(jì)為一維分布。這反過來有助于緩解維度詛咒帶來的問題。

另一方面，雖然樸素貝葉斯被稱為一個不錯的分類器，但它被認(rèn)為是一個不好的估計(jì)器，所以輸出的概率 predict_proba不要太認(rèn)真。