參考文獻：機器學習與數據挖掘參考文獻
樸素貝葉斯法是基於貝葉斯定理與特徵條件獨立假設的分類方法。對分類任務來說，在所有相關概率都已知的理想情形下，貝葉斯決策論考慮如何基於這些概率損失來選擇最優的類別標記。即對每個樣本x，它選擇能使後驗概率P(c|x)最大的類別標記：
其中h*(x)是貝葉斯最優分類器，c是有N種可能類別標記的類別空間Y=(c1,c2,...,cN)的一個類別。
基於貝葉斯定理，P(c|x)可寫爲：
對類條件概率P(x|c)來說，由於它涉及關於樣本x所有特徵的聯合概率，直接根據樣本出現的頻率來估計將會遇到嚴重的困難。爲避開這個障礙，樸素貝葉斯分類器採用了特徵條件獨立假設：對已知類別，假設所有特徵相互獨立。因此上式可重寫爲：
其中d爲特徵數目，xi爲在第i個特徵上的取值。
由於對所有類別來說P(x)相同，因此基於上式的貝葉斯判定準則有：
這就是樸素貝葉斯分類器的表達式。