介绍概率的基本概念，以及基本的贝叶斯准则。2 TWO CLASS CASES机器学习或者模式识别中,一个常见的挑战就是分类,将一个样木特征x进行分类,当然一个直观的方法就是求出这个样本属于某一类的機率,即P(;x),这个概率称为 posterior后验)概率,而 Bayes估计就是利用概率进行分类的基础。我们先考虑两类的情况,假设u1,w2分别表示第一类和第二类,P(lw1),P(lu2)表示每一类的 priori〔先验概率,这个可以由训练样本的统计得到,P(lU1)≈N1/N,P(lu2)≈N2/N,另外我们还需要知道每一类的条件概率密度函数p(xm),=1,2,这个函数可以描述每一类的样本分布,这个函数也可以叫做vz关于样本特征x的似然涵数 likelihoodunction,这里一个隐含的偎设就是特征x可以取任意值,如果x只能取有限值,那么概率密度函数就变为概率估计,写作P(x|uvt根据前面介绍的 Bayes准则,我们有P(wilxp(wIp(wi)其中p(x)=∑2=1p(xuP(U),很明显,利用 Bayesi桃率来进行分类只要比较P(W1x)和P(2x)的大小·哪一类的后验概率更大,则该样本就属于哪一类。囚为p(x)对于两类来说是一样的,相当于一个归一化常数,所以我们可以只比较p(x1)P(1)与p(x2)P(2)的大小,为了简化问题,假设两类的先验概率一样,即P(1)=P(l2)=0.5,那么,进一步,我们可以只要考虑p(xW1)与P(x2)所以,这个分类问题,最终演化成比较两类的条件概率密度函数在样本特征取值为x时的大小,Arlo)y例o)p(alan)Figure l:在同样的先验概率下, Bayes分类器形成的两类的区域R1,R2上图给出了在同样的先验概率下,两类的条件概率密度函数的形状,这里的样本特征是一维的,其中穿过xo的虚线表示一个阈值,将样本特征空间分成两个区域R1,R2,根据 Bayes决定准则,样本特征落在区域R则该样本属于v1,如果样本特征落在区域R2则该样木属于2,我们可以看到,有些决策错误是无法避免的,比如木应该属丁1的样木特征,落在了区域R2,因此被划为w2,同样地,属于U2的样本特征,落在了区域R,因此被划为U1,我们可以用P表示错分的概率,其表达式如下p(x]w2)dp(rlw2)dx可以看出,P相当于上图中阴影部分的面积,这个表达式其实给出了 Bayes概率估计屮非常重要的一个评价,我们最初是通过直观的经验来建立分类准则,即将样本划分给最有可能的那一类,我们接下来要证明,这个简单的分类准则有着非常完备的数学意义REFERENCESSergios Theodoridis, Konstantinos Koutroumbas," Pattern Recognition", 4th edition,2008. ElsevierChristopher m. Bishop, "Pattcrn Recognition and Machinc Learning", Springer, 2006