实验一总体概率密度分布的非参数方法一、实验目的在进行Bayes决策时，一个前提条件是要预先知道先验概率密度和类条件概率密度，而实际中我们只是收集到有限数目的样本，而不知道先验概率密度和类条件概率密度。因此，我们必须先根据有限的样本对类条件概率密度和先验概率密度进行估计，再用估计的结果进行Bayes决策。由样本集估计概率密度的方法有监督参数估计、非监督参数估计和非参数估计三种类型，其中非参数估计方法是在样本所属类别已知，但是未知总体概率密度函数形式的条件下，直接推断概率密度函数本身的方法。本实验的目的是通过编程进行概率密度的函数的Parzen窗函数估计，加深对非参数估计基本思想的认识和理解。二、 实验数据文中使用的实验数据是一组随机数据，r=r=normrnd(0,2,1,10000);其中normrnd使用来产生正太分布的随机数据，它的调用形式为R= normrnd(MU,SIGMA,m,n)其中，MU：规定数据的均值；SIGMA:规定数据的标准差；m:规定数据的行数；n:规定数据的列数。三、实验结果实验过程中使用的是方窗Parzen，并且对同样一组数据进行了十二种对比，其中同一行中的图表示使用的是相同的窗口大小：分别为N=1，N=16，N=256，N=10000。同一列的数据表示使用的是相同的h，分别是h=0.25，h=1，h=4。最后仿真程序运行得到的结果图如下图1.1所示
实验一 总体概率密度分布的非参数方法 一、 实验目的 在进行 Bayes 决策时，一个前提条件是要预先知道先验概率密度和类条件概 率密度，而实际中我们只是收集到有限数目的样本，而不知道先验概率密度和类 条件概率密度。因此，我们必须先根据有限的样本对类条件概率密度和先验概率 密度进行估计，再用估计的结果进行 Bayes 决策。 由样本集估计概率密度的方法有监督参数估计、非监督参数估计和非参数估 计三种类型，其中非参数估计方法是在样本所属类别已知，但是未知总体概率密 度函数形式的条件下，直接推断概率密度函数本身的方法。 本实验的目的是通过编程进行概率密度的函数的 Parzen 窗函数估计，加深 对非参数估计基本思想的认识和理解。 二、 实验数据 文中使用的实验数据是一组随机数据，r= r=normrnd(0,2,1,10000);其中 normrnd 使用来产生正太分布的随机数据，它的调用形式为 R = normrnd(MU,SIGMA,m,n) 其中，MU：规定数据的均值； SIGMA:规定数据的标准差； m:规定数据的行数； n:规定数据的列数。 三、 实验结果 实验过程中使用的是方窗 Parzen，并且对同样一组数据进行了十二种对比， 其中同一行中的图表示使用的是相同的窗口大小：分别为 N=1，N=16，N=256， N=10000。同一列的数据表示使用的是相同的 h，分别是 h=0.25，h=1，h=4。最 后仿真程序运行得到的结果图如下图 1.1 所示
h=1h=0.25h=40.41210.510.2000-1010-10010-1000100.50.40.291=N091=N0.20.1=Nn0-1-10010-10010-100100.50.50.500957=02=000-55-5550.50.50.500000-000000000000-N0IL50CS0V2图1.1方窗Parzen仿真实验运行结果结果分析：根据实验结果图可以看出最后估计的概率密度函数与N和h的取值大小有密切的关系当h=0.25，N=10000时，曲线起伏很大，噪声大，与真实的概率密度函数曲线相差较大。h=1，起伏减小，不过噪声依旧明显。h=4，曲线平坦。同时当N→8o时，估计曲线也逐渐逼近实际的概率密度曲线。附录程序r=normrnd(0,2,1,10000);f=r(1:1000),Ith=1;h=[0.25,1,4];f=sort(f),VI=h(1);V2=h(2);V3=h(3);V=[V1,V2,V3];a=zeros(1000,3),p=zeros(1000,3);b=0,for m=1:3for x=1:1000for n=1:Ithif abs(r(:;,n)-f(x)/h(;,m)<=1/2q=1;elseq=0;endb=q+b,end
图 1.1 方窗 Parzen 仿真实验运行结果 结果分析：根据实验结果图可以看出最后估计的概率密度函数与 N 和 h 的取 值大小有密切的关系当 h=0.25，N=10000 时，曲线起伏很大，噪声大，与真实的 概率密度函数曲线相差较大。h＝1，起伏减小，不过噪声依旧明显。h＝4，曲线 平坦。同时当 N→∞时，估计曲线也逐渐逼近实际的概率密度曲线。 附录 程序 r=normrnd(0,2,1,10000); f=r(1:1000); f=sort(f); lth=1; h=[0.25,1,4]; V1=h(1); V2=h(2); V3=h(3); V=[V1,V2,V3]; a=zeros(1000,3); p=zeros(1000,3); b=0; for m=1:3 for x=1:1000 for n=1:lth if abs((r(:,n)-f(x))/h(:,m))<=1/2 q=1; else q=0; end b=q+b; end
b=0;a(x,m)=b,endendfor m=1:3for x=1:1000p(x,m)=1/(Ith*V(m)* a(x,m);endsubplot(4,3,m),plot(f(1:1000),p(,m),ylabel(N=1')endhold onIth=16;b=0;for m=1:3for x=1:1000for n=1:Ithq=1; if abs(r(:,n)-f(x))/h(:,m)<=1/2elseq=0;end b=q+b;endb=0;a(x,m)=b,endendfor m=1:3for x=1:1000p(x,m)=1/(th*V(m)* a(x,m);endsubplot(4,3,m+3);plot(f(1:1000),p(:;m);ylabel(N=16)endhold onIth=256;b=0;for m=1:3for x=1:1000
a(x,m)=b; b=0; end end for m=1:3 for x=1:1000 p(x,m)=1/(lth*V(m))* a(x,m); end subplot(4,3,m);plot(f(1:1000),p(:,m)); ylabel('N=1') end hold on lth=16; b=0; for m=1:3 for x=1:1000 for n=1:lth if abs((r(:,n)-f(x))/h(:,m))<=1/2 q=1; else q=0; end b=q+b; end a(x,m)=b; b=0; end end for m=1:3 for x=1:1000 p(x,m)=1/(lth*V(m))* a(x,m); end subplot(4,3,m+3);plot(f(1:1000),p(:,m)); ylabel('N=16') end hold on lth=256; b=0; for m=1:3 for x=1:1000
for n=1:Ithq=1;if abs(r(:,n)-f(x)/h(;,m)<=1/2q=0; elseendb=q+b;enda(x,m)=b; b=0;endendfor m=1:3for x=1:1000p(x,m)=1/(lth*V(m)* a(x,m);endsubplot(4,3,m+6),plot(f(1:1000),p(,m));axis([-5,5,0,0.6);ylabel(N=256)endIth=10000;b=0;for m=1:3for x=1:1000for n=1:Ithq=1; if abs(r(:,n)-f(x)/h(:,m)<=1/2elseq=0; end b=q+b;endb=0,a(x,m)=b;endendfor m=1:3for x=1:1000p(x,m)=1/(lth*V(m)* a(x,m);endsubplot(4,3,m+9);plot(f(1:1000),p(:,m);axis([-5,5,0,0.5);ylabel(N=10000)end
for n=1:lth if abs((r(:,n)-f(x))/h(:,m))<=1/2 q=1; else q=0; end b=q+b; end a(x,m)=b; b=0; end end for m=1:3 for x=1:1000 p(x,m)=1/(lth*V(m))* a(x,m); end subplot(4,3,m+6);plot(f(1:1000),p(:,m));axis([-5,5,0,0.6]); ylabel('N=256') end lth=10000; b=0; for m=1:3 for x=1:1000 for n=1:lth if abs((r(:,n)-f(x))/h(:,m))<=1/2 q=1; else q=0; end b=q+b; end a(x,m)=b; b=0; end end for m=1:3 for x=1:1000 p(x,m)=1/(lth*V(m))* a(x,m); end subplot(4,3,m+9);plot(f(1:1000),p(:,m));axis([-5,5,0,0.5]); ylabel('N=10000') end
实验二感知器准则算法实验实验目的1）感知器算法是一种线性分类器，通过在实验的过程中理解线性分类器的分类原理，进一步加深对感知准则算法的基本思想的认识和理解。2）了解感知器算法原理之后，需要编程实现算法，这个过程中可以加强编程能力，同时也可以加深对算法的理解。实验数据样本1:W1=[05.0-3.52.04.13.1-0.80.96.03.91.1 6.0 -4.12.7 2.8 5.6 -1.3 1.2 6.4 4.0];样本2：W2=[7.1-1.44.56.34.21.42.42.56.44.14.2 -4.3 0.0 1.6 1.9 -3.2 -4.0 -4.1 3.7-2.21样本3:W3=[-3.00.52.9-0.1-4.0-1.3-3.4-4.1-5.11.9;-2.9 6.72.1 5.2 2.2 3.76.2 3.4 1.65.1];三、实验结果感知器算法仿真实验结果如图2.1所示。86X201-22*丰-10O510010V-55图2.1感知器算法仿真结果图结果分析：图中两个图都是初始权向量为[0,0.0时的结果，左图为对w1、w2样本训练的结果，右图为对w2、w3样本训练结果。根据实验结果图可以发现线
实验二 感知器准则算法实验 一、 实验目的 1）感知器算法是一种线性分类器，通过在实验的过程中理解线性分类器的 分类原理，进一步加深对感知准则算法的基本思想的认识和理解。 2）了解感知器算法原理之后，需要编程实现算法，这个过程中可以加强编 程能力，同时也可以加深对算法的理解。 二、 实验数据 样本 1：W1=[0 5.0 -3.5 2.0 4.1 3.1 -0.8 0.9 6.0 3.9; 1.1 6.0 -4.1 2.7 2.8 5.6 -1.3 1.2 6.4 4.0]; 样本 2：W2=[7.1 -1.4 4.5 6.3 4.2 1.4 2.4 2.5 6.4 4.1; 4.2 -4.3 0.0 1.6 1.9 -3.2 -4.0 -4.1 3.7 -2.2]; 样本 3：W3=[-3.0 0.5 2.9 -0.1 -4.0 -1.3 -3.4 -4.1 -5.1 1.9; -2.9 6.7 2.1 5.2 2.2 3.7 6.2 3.4 1.6 5.1]; 三、 实验结果 感知器算法仿真实验结果如图 2.1 所示。 图 2.1 感知器算法仿真结果图 结果分析：图中两个图都是初始权向量为[0,0,0]时的结果，左图为对 w1、w2 样本训练的结果，右图为对 w2、w3 样本训练结果。根据实验结果图可以发现线
性分类器可以较好的对样本进行分类。并且当初始权向量取为a=[0,0,0]时，两个训练的收敛步数分别为37和62；而当初始权向量取为a=[1,1,1]，两个训练的收敛步数分别为49和14。可见初始权向量的选取会改变分类的收敛速度。附录程序clear,%原始数据W1=[05.0-3.52.04.13.1-0.80.96.03.9;1.1 6.0 -4.1 2.7 2.8 5.6 -1.3 1.2 6.4 4.0];4.2 -4.3 0.0 1.6 1.9 -3.2 -4.0 -4.1 3.7 -2.2];W2=[7.1 -1.4 4.5 6.3 4.2 1.4 2.4 2.5 6.4 4.1;W3=[-3.0 0.5 2.9 -0.1 -4.0-1.3 -3.4 -4.1-5.11.9,-2.9 6.72.1 5.2 2.2 3.76.2 3.4 1.6 5.1];%将所有训练样本进行规范化增广ww1=[ones(1,size(W1,2);W1];ww2=[ones(1,size(W2,2);W2];ww3=[ones(1,size(W3,2);W3]%对W1、W2训练w12=[wwl,-ww2];%增广样本规范化为w12y=zeros(1,size(w12,2);%y初始为零矩阵a=[0;0;0];%初始权向量ak=0;while any(y<=0)for i=1:size(y,2)y(i)=a*w12(:,;);end;a=a+(sum((w12(:,find(y<=0))));%修正向量ak=k+1:%收敛步数end;subplot(1,2,1);plot(W1(1,),W1(2,),r.);hold on;plot(W2(1:),W2(2,:),*);%找到样本在坐标中的集中区域，以便于打印样本坐标图xmin=min(min(W1(1,:),min(W2(1,:);xmax=max(max(W1(1,:),max(W2(1,);xindex=xmin-1:(xmax-xmin)/100:xmax+1;
性分类器可以较好的对样本进行分类。并且当初始权向量取为 a=[0,0,0]时，两个 训练的收敛步数分别为 37 和 62；而当初始权向量取为 a=[1,1,1]，两个训练的收 敛步数分别为 49 和 14。可见初始权向量的选取会改变分类的收敛速度。 附录 程序 clear; %原始数据 W1=[0 5.0 -3.5 2.0 4.1 3.1 -0.8 0.9 6.0 3.9; 1.1 6.0 -4.1 2.7 2.8 5.6 -1.3 1.2 6.4 4.0]; W2=[7.1 -1.4 4.5 6.3 4.2 1.4 2.4 2.5 6.4 4.1; 4.2 -4.3 0.0 1.6 1.9 -3.2 -4.0 -4.1 3.7 -2.2]; W3=[-3.0 0.5 2.9 -0.1 -4.0 -1.3 -3.4 -4.1 -5.1 1.9; -2.9 6.7 2.1 5.2 2.2 3.7 6.2 3.4 1.6 5.1]; %将所有训练样本进行规范化增广 ww1=[ones(1,size(W1,2));W1]; ww2=[ones(1,size(W2,2));W2]; ww3=[ones(1,size(W3,2));W3]; %对 W1、W2 训练 w12=[ww1,-ww2];%增广样本规范化为 w12 y=zeros(1,size(w12,2));%y 初始为零矩阵 a=[0;0;0];%初始权向量 a k=0; while any(y<=0) for i=1:size(y,2) y(i)=a'*w12(:,i); end; a=a+(sum((w12(:,find(y<=0)))'))';%修正向量 a k=k+1;%收敛步数 end; subplot(1,2,1); plot(W1(1,:),W1(2,:),'r.'); hold on; plot(W2(1,:),W2(2,:),'*'); %找到样本在坐标中的集中区域，以便于打印样本坐标图 xmin=min(min(W1(1,:)),min(W2(1,:))); xmax=max(max(W1(1,:)),max(W2(1,:))); xindex=xmin-1:(xmax-xmin)/100:xmax+1;
yindex=-a(2)*xindex/a(3)-a(1)/a(3);plot(xindex,yindex);%对W2、W3训练w23-[ww2,-ww3];%增广样本规范化为w23y=zeros(1,size(w23,2);%y初始为零矩阵a=[0;0;0];%初始权向量ak=0;while any(y<=0)for i=l:size(y,2)y(i)=a*w23(;,i);end,a=a+(sum((w23(:,find(y<=0)));%修正向量ak=k+1;%收敛步数end,subplot(1,2,2), plot(W2(1,),W2(2,:),r.)hold on;plot(W3(1,),W3(2,:),*);%找到样本在坐标中的集中区域，以便于打印样本坐标图xmin=min(min(W2(1,:),min(W3(1,:);xmax=max(max(W2(1,),max(W3(1,)))xindex=xmin-1:(xmax-xmin)/100:xmax+1;yindex=-a(2)*xindex/a(3)-a(1)/a(3);plot(xindex,yindex);
yindex=-a(2)*xindex/a(3)-a(1)/a(3); plot(xindex,yindex); %对 W2、W3 训练 w23=[ww2,-ww3];%增广样本规范化为 w23 y=zeros(1,size(w23,2));%y 初始为零矩阵 a=[0;0;0];%初始权向量 a k=0; while any(y<=0) for i=1:size(y,2) y(i)=a'*w23(:,i); end; a=a+(sum((w23(:,find(y<=0)))'))';%修正向量 a k=k+1;%收敛步数 end; subplot(1,2,2); plot(W2(1,:),W2(2,:),'r.'); hold on; plot(W3(1,:),W3(2,:),'*'); %找到样本在坐标中的集中区域，以便于打印样本坐标图 xmin=min(min(W2(1,:)),min(W3(1,:))); xmax=max(max(W2(1,:)),max(W3(1,:))); xindex=xmin-1:(xmax-xmin)/100:xmax+1; yindex=-a(2)*xindex/a(3)-a(1)/a(3); plot(xindex,yindex);
实验三Fisher线性判别实验一、实验目的1）一般情况下，我们总可以找到某个方向，使得这个方向的直线上，样本的投影能分开的最好，而Fisher法所要解决的基本问题就是找到这条最好的、最易于分类的投影线，在实验的过程中可以了解Fisher法的原理，加深对Fisher线性判别的基本思想的认识和理解。2）编写实现Fisher线性判别准则函数的程序，进一步熟悉Fisher法分类。二、 实验数据实验过程中用到了两种数据，一种是训练样本，另外一种是测试数据训练样本：w1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0.011;0.35,0.47,0.034;0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.0540.063];w2=[0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;-0.39,-0.48,0.11;0.34,0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11,-0.49];测试数据：xx1=[-0.70.94.3];xx2=[1.4 -0.4 1.04];三、实验结果一般低维特征空间的分类问题要比高维空间的文类问题简单，二Fisher线性判别算法就很好的解决了这个问题，它将n维特征空间投影到一条直线上，形成一维空间。由实验仿真结果图可以看出，一般对于线性可分的样本，在降维以后，样本的线性可分性更好，同一类样本能够尽可能地集中分布。程序仿真结果如图3.1、3.2和3.3所示
实验三 Fisher 线性判别实验 一、 实验目的 1）一般情况下，我们总可以找到某个方向，使得这个方向的直线上，样本 的投影能分开的最好，而 Fisher 法所要解决的基本问题就是找到这条最好的、最 易于分类的投影线，在实验的过程中可以了解 Fisher 法的原理，加深对 Fisher 线 性判别的基本思想的认识和理解。 2）编写实现 Fisher 线性判别准则函数的程序，进一步熟悉 Fisher 法分类。 二、 实验数据 实验过程中用到了两种数据，一种是训练样本，另外一种是测试数据： 训练样本： w1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0.011;- 0.35,0.47,0.034; 0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,- 0.063]; w2=[0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1; -0.39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11,-0.49]; 测试数据： xx1=[-0.7 0.9 4.3]'; xx2=[1.4 -0.4 1.04]'; 三、 实验结果 一般低维特征空间的分类问题要比高维空间的文类问题简单，二 Fisher 线性 判别算法就很好的解决了这个问题，它将 n 维特征空间投影到一条直线上，形成 一维空间。由实验仿真结果图可以看出，一般对于线性可分的样本，在降维以后， 样本的线性可分性更好，同一类样本能够尽可能地集中分布。程序仿真结果如图 3.1、3.2 和 3.3 所示
43C2O1-0O0Q0-122oS1.50.5001-0.5图3.1wl、w2样本数据空间分布64.20--24-4.-64040202000-20-40-20-60图3.2线性投影后以及线性判别函数图形
图 3.1 w1、w2 样本数据空间分布 图 3.2 线性投影后以及线性判别函数图形
>>exp3Fisher测试数据xx1属于w1类测试数据xx2属于w2类图3.3测试数据xx1和xx2判别结果附录程序clear,%w1类训练样本，10组，每组为行向量w1=-0.4,0.58,0.089,-0.31,0.27,-0.04;-0.38,0.055,0.035;0.15,0.53.0.011;-0.35,0.47,0.0340.17,0.690.1;-0.011,0.55,0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,0.063]%w2类训练样本，10组，每组为行向量w2-[0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1;-0.39,0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,0.46;0.18,0.11,-0.49]xx1=[-0.70.94.3];%测试数据xx1xx2=[1.4-0.41.04];%c测试数据xx2sl=cov(w1,1);%样本类间离散度S1m1=mean(wl);%样本均值mls2=cov(w2,1);%样本类间离散度S2m2=mean(w2）:%样本均值m2sw=sl+s2;%总类内离散度Sww=inv(sw)*(ml-m2);%Fisher准则函数w*y0=(w*ml+w*m2)/2；%阅值y0figure(1);fori=1:1:10%打印样本plot3(w1(i,1),w1(i,2),w1(i,3),r*);hold on,plot3(w2(i,1),w2(i,2),w2(i,3),bo);end,zl=w*wl';z2-w*w2;figure(2）%画出fisher判别函数xmin=min(min(w1(:,1),min(w2(:,1);
图 3.3 测试数据 xx1 和 xx2 判别结果 附录 程序 clear; %w1 类训练样本，10 组，每组为行向量 w1=[-0.4,0.58,0.089;-0.31,0.27,-0.04;-0.38,0.055,-0.035;-0.15,0.53,0.011;-0.35,0.47,0.034; 0.17,0.69,0.1;-0.011,0.55,-0.18;-0.27,0.61,0.12;-0.065,0.49,0.0012;-0.12,0.054,-0.063]; %w2 类训练样本，10 组，每组为行向量 w2=[0.83,1.6,-0.014;1.1,1.6,0.48;-0.44,-0.41,0.32;0.047,-0.45,1.4;0.28,0.35,3.1; -0.39,-0.48,0.11;0.34,-0.079,0.14;-0.3,-0.22,2.2;1.1,1.2,-0.46;0.18,-0.11,-0.49]; xx1=[-0.7 0.9 4.3]'; %测试数据 xx1 xx2=[1.4 -0.4 1.04]'; %c 测试数据 xx2 s1=cov(w1,1);%样本类间离散度 S1 m1=mean(w1)';%样本均值 m1 s2=cov(w2,1);%样本类间离散度 S2 m2=mean(w2)';%样本均值 m2 sw=s1+s2;%总类内离散度 Sw w=inv(sw)*(m1-m2);%Fisher 准则函数 w* y0=(w'*m1+w'*m2)/2; % 阈值 y0 figure(1); for i=1:1:10%打印样本 plot3(w1(i,1),w1(i,2),w1(i,3),'r*'); hold on; plot3(w2(i,1),w2(i,2),w2(i,3),'bo'); end; z1=w'*w1'; z2=w'*w2'; figure(2) %画出 fisher 判别函数 xmin=min(min(w1(:,1)),min(w2(:,1)));