朴素贝叶斯算法

朴素贝叶斯法是一种基于贝叶斯定定理和特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入$x$，利用贝叶斯定理求出后验概率最大输出的$y$。朴素贝叶斯法对条件概率分布作了条件独立假设，朴素贝叶斯法因为这个较强的假设而得名。

一、基本方法

假设输入空间$x\in \mathbb{R}^{n}$是n维向量的集合，输出空间为类别标签的集合$y= \left \{ c_{1},c_{2},...,c_{k} \right \}$，输入为特征向量$x\in \chi $，输出为类别标签$y\in \gamma$。$X$是定义在输入空间$\chi$上的随机向量。$Y$是定义在输出空间$\gamma$上的随机变量。$P\left ( X,Y \right )$是X和Y的联合概率分布。训练数据集：

$T=\left \{ \left ( x_{1}, y_{1} \right ), \left ( x_{2}, y_{2} \right ),...,\left ( x_{N}, y_{N}  \right ) \right \}$

由$P\left ( X,Y \right )$独立同分布产生。