利用贝叶斯估计做二分类。介绍贝叶斯决策的基本概念现在我们来考虑一个M类的问题假设R,j=12…M,表示每一类的样木特征所在的区域,现在设想有一个属于wk样本特征x落在区域R,i≠k.那么该样本会被判断属于ut,这样就产生一个决策错误,一个惩罚项λk,称为los,与该决策错误捆绑在一起,矩阵L,其位置(k,i上有对应的惩罚项,称为loss矩阵,显然,矩阵对角线上的值(k,k)对应的都是决策正确的权值,实际应用中一般都设为0,这里为了不失一般性,我们也把对角线上的值考虑进去,那么某一类k的决策风险可以表示为:rk=∑Akp(xm)dx可以看到,上式中的积分项表示属于uk的某一样本特征被判断为属于v;的概率,这个概率乘以λk作为加权,我们的目标是将整个样本特征的空间进行划分,并且使得所有类的决策风险的平均值最小,即rkP(Wk)kip(wrpcR要最小,如果上式中的母一个积分项都能取得最小值,那么平均值就能最小,相当于区域划分将满足如下的不等式:MxER2ifl2=∑kp(xtk)P(uk)λ,因为判断正确的惩罚项应该比判断错误的惩罚项要小,基于这个假设,那么 decision rule可以写成:x∈WU1(2)ifh2≡p(x|u)、P(Uu2)A21-22p(xIw2P(U1)A12-111比率l12叫做似然比率,如果我们假设A1,A22都为0的话,并且假定A21>412,那么如果满足下述不等式:p(x]w2)>p(xlw1)则该样本属于w2,这里假设两类的先验概率是相等的,即:P(L1)=P(l2)=1/2.上面的表达式里,p(xm1)乘了一个小于1的因子,相当于区域R2增大了而区域n1则相应地缩小了。REFERENCESSergios Theodoridis, Konstantinos Koutroumbas, Pattern Recognition", 4th edition2008. ElsevierChristopher M. Bishop, "Pattern Recognition and Machine Learning", Springer, 2006