模式识别实验报告-实验一-Bayes分类器设计汇总

实验一 Bayes 分类器设计

【实验目的】

对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻

地认识，理解二类分类器的设计原理。

【实验原理】

最小风险贝叶斯决策可按下列步骤进行：

(1)在已知)(i P ω，)(i X P ω，i=1,…，c 及给出待识别的X 的情况下，根据贝叶斯公式计算出后验概率：

∑==c j i

i i i i P X P P X P X P 1)()()

()()(ωωωωω j=1,…，x

(2)利用计算出的后验概率及决策表，按下面的公式计算出采取i a ,i=1,…，a 的条件风险

∑==c j j j i

i X P a X a R 1)(),()(ωωλ,i=1,2,…,a

(3)对(2)中得到的a 个条件风险值)(X a R i ,i=1,…，a 进行比较，找出使其条件风险最

小的决策k a ，即

()()1,min k i i a

R a x R a x ==L 则k a 就是最小风险贝叶斯决策。

【实验内容】

假定某个局部区域细胞识别中正常（1ω）和非正常（2ω）两类先验概率分别为

正常状态：P （1ω）=0.9；

异常状态：P （2ω）=0.1。

现有一系列待观察的细胞，其观察值为x ：

-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531

-2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752

-3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682

-1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532

已知类条件概率是的曲线如下图：

)|(1ωx p )|(2ωx p 类条件概率分布正态分布分别为N （-2，0.25）、N （2,4）

试对观察的结果进行分类。

【实验要求】

1) 用matlab 完成基于最小错误率的贝叶斯分类器的设计，要求程序相应语句有说明

文字，要求有子程序的调用过程。

2)

根据例子画出后验概率的分布曲线以及分类的结果示意图。 3) 如果是最小风险贝叶斯决策，决策表如下：

最小风险贝叶斯决策表：

请重新设计程序，完成基于最小风险的贝叶斯分类器，画出相应的条件风险的分布曲线和分类结果,并比较两个结果。

【实验程序】

◆最小错误率贝叶斯决策

?分类器设计

x=[-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287

-3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780

0.7932

1.1882 3.0682 -1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 ]

pw1=0.9 ; pw2=0.1

e1=-2; a1=0.5

e2=2;a2=2

m=numel(x) %得到待测细胞个数

pw1_x=zeros(1,m) %存放对w1的后验概率矩阵

pw2_x=zeros(1,m) %存放对w2的后验概率矩阵

results=zeros(1,m) %存放比较结果矩阵

for i = 1:m

%计算在w1下的后验概率

pw1_x(i)=(pw1*normpdf(x(i),e1,a1))/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e 2,a2))

%计算在w2下的后验概率

pw2_x(i)=(pw2*normpdf(x(i),e2,a2))/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e 2,a2))

end

for i = 1:m

if pw1_x(i)>pw2_x(i) %比较两类后验概率

result(i)=0 %正常细胞

else

result(i)=1 %异常细胞

end

end

a=[-5:0.05:5] %取样本点以画图

n=numel(a)

pw1_plot=zeros(1,n)

pw2_plot=zeros(1,n)

for j=1:n

pw1_plot(j)=(pw1*normpdf(a(j),e1,a1))/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a (j),e2,a2))

%计算每个样本点对w1的后验概率以画图

pw2_plot(j)=(pw2*normpdf(a(j),e2,a2))/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a (j),e2,a2))

end

figure(1)

hold on

plot(a,pw1_plot,'k-',a,pw2_plot,'r-.')

for k=1:m

if result(k)==0

plot(x(k),-0.1,'b*') %正常细胞用*表示

else

plot(x(k),-0.1,'rp') %异常细胞用五角星表示

end;

end;

legend('正常细胞后验概率曲线','异常细胞后验概率曲线','正常细胞','异常细胞')

xlabel('样本细胞的观察值')

ylabel('后验概率')

title('后验概率分布曲线')

grid on

return ;

?实验内容仿真

x = [-3.9847 , -3.5549 , -1.2401 , -0.9780 , -0.7932 , -2.8531 ,-2.7605 ,

-3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 , -3.9934 , 2.8792 , -0.9780 , 0.7932 , 1.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 , -0.4221 , -1.1186 , 4.2532 ]

disp(x)

pw1=0.9

pw2=0.1

[result]=bayes(x,pw1,pw2)

◆最小风险贝叶斯决策

?分类器设计

function [R1_x,R2_x,result]=danger(x,pw1,pw2)

m=numel(x) %得到待测细胞个数

R1_x=zeros(1,m) %存放把样本X判为正常细胞所造成的整体损失

R2_x=zeros(1,m) %存放把样本X判为异常细胞所造成的整体损失

result=zeros(1,m) %存放比较结果

e1=-2

a1=0.5

a2=2

%类条件概率分布px_w1:（-2，0.25）px_w2（2,4）

r11=0

r12=2

r21=4

r22=0

%风险决策表

for i=1:m %计算两类风险值

R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i), e2,a2))+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i), e2,a2))

R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i), e2,a2))+r22*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i), e2,a2))

end

for i=1:m

if R2_x(i)>R1_x(i)%第二类比第一类风险大

result(i)=0 %判为正常细胞（损失较小），用0表示

result(i)=1 %判为异常细胞，用1表示

end

end

a=[-5:0.05:5] %取样本点以画图

n=numel(a)

R1_plot=zeros(1,n)

R2_plot=zeros(1,n)

for j=1:n

R1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf( a(j),e2,a2))+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf (a(j),e2,a2))

R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf( a(j),e2,a2))+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf (a(j),e2,a2))

%计算各样本点的风险以画图

end

figure(1)

plot(a,R1_plot,'b-',a,R2_plot,'g*-')

for k=1:m

if result(k)==0

plot(x(k),-0.1,'b^')%正常细胞用上三角表示

else

plot(x(k),-0.1,'go')%异常细胞用圆表示

end;

end;

legend('正常细胞','异常细胞','Location','Best')

xlabel('细胞分类结果')

ylabel('条件风险')

title('风险判决曲线')

grid on

return

实验内容仿真

x = [-3.9847 , -3.5549 , -1.2401 , -0.9780 , -0.7932 , -2.8531 ,-2.7605 , -3.7287 , -3.5414 , -2.2692 , -3.4549 , -3.0752 , -3.9934 , 2.8792 , -0.9780 , 0.7932 , 1.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 , -0.4221 , -1.1186 , 4.2532 ]

disp(x)

pw1=0.9

[R1_x,R2_x,result]=danger(x,pw1,pw2)

【实验结果和数据】

最小错误率贝叶斯决策

后验概率曲线与判决结果在一张图上：后验概率曲线如图所示，带*的绿色曲线为判决成异常细胞的后验概率曲线；另一条平滑的蓝色曲线为判为正常细胞的后验概率曲线。根据最小错误概率准则，判决结果见曲线下方，其中“上三角”代表判决为正常细胞，“圆圈”代表异常细胞。

各细胞分类结果：

0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 0 1 0为判成正常细胞，1为判成异常细胞

-5-4-3-2-101

2345

细胞的观察值后验概率后验概率分布曲线

图1 基于最小错误率的贝叶斯判决