Parzen窗估計(jì)與KN近鄰估計(jì)實(shí)驗(yàn)報(bào)告

1、精選優(yōu)質(zhì)文檔-傾情為你奉上裝訂線(xiàn) 模式識(shí)別實(shí)驗(yàn)報(bào)告 題目：Parzen窗估計(jì)與KN近鄰估計(jì) 學(xué) 院 計(jì)算機(jī)科學(xué)與技術(shù) 專(zhuān) 業(yè) xxxxxxxxxxxxxxxx 學(xué) 號(hào) xxxxxxxxxxxx 姓 名 xxxx 指導(dǎo)教師 xxxx 20xx年xx月xx日Parzen窗估計(jì)與KN近鄰估計(jì)一、實(shí)驗(yàn)?zāi)康?#160;本實(shí)驗(yàn)的目的是學(xué)習(xí)Parzen窗估計(jì)和k最近鄰估計(jì)方法。在之前的模式識(shí)別研究中，我們假設(shè)概率密度函數(shù)的參數(shù)形式已知，即判別函數(shù)J(.)的參數(shù)是已知的。本節(jié)使用非參數(shù)化的方法來(lái)處理任意形式的概率分布而不必事先考慮概率密度的參數(shù)形式。在模式識(shí)別中有躲在令人感興趣的非參數(shù)化方法，Parzen窗估

2、計(jì)和k最近鄰估計(jì)就是兩種經(jīng)典的估計(jì)法。 二、實(shí)驗(yàn)原理 1.非參數(shù)化概率密度的估計(jì)對(duì)于未知概率密度函數(shù)的估計(jì)方法，其核心思想是：一個(gè)向量x落在區(qū)域R中的概率可表示為：其中，P是概率密度函數(shù)p(x)的平滑版本，因此可以通過(guò)計(jì)算P來(lái)估計(jì)概率密度函數(shù)p(x)，假設(shè)n個(gè)樣本x1,x2,xn，是根據(jù)概率密度函數(shù)p(x)獨(dú)立同分布的抽取得到，這樣，有k個(gè)樣本落在區(qū)域R中的概率服從以下分布：其中k的期望值為：k的分布在均值附近有著非常顯著的波峰，因此若樣本個(gè)數(shù)n足夠大時(shí)，使用k/n作為概率P的一個(gè)估計(jì)將非常準(zhǔn)確。假設(shè)p(x)是連續(xù)的，且區(qū)域R足夠小，則有：如下圖所示，以上公式產(chǎn)生一個(gè)特定值

3、的相對(duì)概率，當(dāng)n趨近于無(wú)窮大時(shí)，曲線(xiàn)的形狀逼近一個(gè)函數(shù)，該函數(shù)即是真實(shí)的概率。公式中的V是區(qū)域R所包含的體積。綜上所述，可以得到關(guān)于概率密度函數(shù)p(x)的估計(jì)為：在實(shí)際中，為了估計(jì)x處的概率密度函數(shù)，需要構(gòu)造包含點(diǎn)x的區(qū)域R1,R2,Rn。第一個(gè)區(qū)域使用1個(gè)樣本，第二個(gè)區(qū)域使用2個(gè)樣本，以此類(lèi)推。記Vn為Rn的體積。kn為落在區(qū)間Rn中的樣本個(gè)數(shù)，而pn (x)表示為對(duì)p(x)的第n次估計(jì)：欲滿(mǎn)足pn(x)收斂：pn(x)p(x)，需要滿(mǎn)足以下三個(gè)條件：有兩種經(jīng)常采用的獲得這種區(qū)域序列的途徑，如下圖所示。其中“Parzen窗方法”就是根據(jù)某一個(gè)確定的體積函數(shù)， 比如Vn=1/n來(lái)逐漸收縮一個(gè)給

4、定的初始區(qū)間。這就要求隨機(jī)變量kn和kn/n能夠保證pn (x)能收斂到p(x)。第二種“k-近鄰法”則是先確定kn為n的某個(gè)函數(shù)，如kn=n。這樣，體積需要逐漸生長(zhǎng)，直到最后能包含進(jìn)x的kn個(gè)相鄰 點(diǎn)。2.Parzen窗估計(jì)法已知測(cè)試樣本數(shù)據(jù)x1,x2,xn，在不利用有關(guān)數(shù)據(jù)分布的先驗(yàn)知識(shí)，對(duì)數(shù)據(jù)分布不附加任何假定的前提下，假設(shè)R是以x為中心的超立方體，h為這個(gè)超立方體的邊長(zhǎng)，對(duì)于二維情況，方形中有面積V=h2，在三維情況中立方體體積V=h3，如下圖所示。根據(jù)以下公式，表示x是否落入超立方體區(qū)域中：估計(jì)它的概率分布：其中n為樣本數(shù)量，h為選擇的窗的長(zhǎng)度，(.)為核函數(shù)，通常采用矩形窗和高斯窗

5、。3.k最近鄰估計(jì)在Parzen算法中，窗函數(shù)的選擇往往是個(gè)需要權(quán)衡的問(wèn)題，k-最近鄰算法提供了一種解決方法，是一種非常經(jīng)典的 非參數(shù)估計(jì)法?；舅悸肥牵阂阎?xùn)練樣本數(shù)據(jù)x1,x2,xn而估計(jì)p(x)，以點(diǎn)x為中心，不斷擴(kuò)大體積Vn，直到區(qū)域內(nèi)包含k個(gè)樣本點(diǎn)為止，其中 k是關(guān)于n的某一個(gè)特定函數(shù)，這些樣本被稱(chēng)為點(diǎn)x的k個(gè)最近鄰點(diǎn)。當(dāng)涉及到鄰點(diǎn)時(shí)，通常需要計(jì)算觀(guān)測(cè)點(diǎn)間的距離或其他的相似性度量，這些度量能夠根據(jù)自變量得出。這里我們選用最常見(jiàn)的距離度量方法：歐幾里德距離。最簡(jiǎn)單的情況是當(dāng)k=1的情況，這時(shí)我們發(fā)現(xiàn)觀(guān)測(cè)點(diǎn)就是最近的（最近鄰）。一個(gè)顯著的事實(shí)是：這是簡(jiǎn)單的、直觀(guān)的、有力的分類(lèi)方法，尤其當(dāng)

6、我們的訓(xùn)練集中觀(guān)測(cè)點(diǎn)的數(shù)目n很大的時(shí)候?？梢宰C明，k最近鄰估計(jì)的誤分概率不高于當(dāng)知道每個(gè)類(lèi)的精確概率密度函數(shù)時(shí)誤分概率的兩倍。三、實(shí)驗(yàn)基本步驟第一部分，對(duì)表格中的數(shù)據(jù)，進(jìn)行Parzen 窗估計(jì)和設(shè)計(jì)分類(lèi)器，本實(shí)驗(yàn)的窗函數(shù)為一個(gè)球形的高斯函數(shù)，如下：1) 編寫(xiě)程序，使用Parzen 窗估計(jì)方法對(duì)一個(gè)任意的測(cè)試樣本點(diǎn)x 進(jìn)行分類(lèi)。對(duì)分類(lèi)器的訓(xùn)練則使用表格 3中的三維數(shù)據(jù)。同時(shí)，令h =1，分類(lèi)樣本點(diǎn)為(0.5,1.0,0.0)，(0.31,1.51,-0.50)，(-0.3,0.44,-0.1)進(jìn)行實(shí)驗(yàn)。2) 可以改變h的值，不同的h將導(dǎo)致不同的概率密度曲線(xiàn)，如下圖所示。h=0.1時(shí)：h=0.5時(shí)

7、：h=1時(shí)：第二部分的實(shí)驗(yàn)?zāi)康氖菍W(xué)習(xí)和掌握非參數(shù)估計(jì)：k-近鄰概率密度估計(jì)方法。對(duì)前面表格中的數(shù)據(jù)進(jìn)行k-近鄰概率密度估計(jì)方法和設(shè)計(jì)分類(lèi)器。編寫(xiě)程序，對(duì)表格中的3個(gè)類(lèi)別的三維特征，使用k-近鄰概率密度估計(jì)方法。并且對(duì)下列點(diǎn)處的概率密度進(jìn)行估計(jì)：(-0.41,0.82,0.88)，(0.14,0.72, 4.1) ，(-0.81,0.61,-0.38)。四、實(shí)驗(yàn)代碼如下：% Parzen窗算法% w：c類(lèi)訓(xùn)練樣本% x：測(cè)試樣本% h：參數(shù)% 輸出p：測(cè)試樣本x落在每個(gè)類(lèi)的概率function p = Parzen(w,x,h)xt,yt,zt = size(w);p = zeros(1,zt)

8、;for i = 1:zt hn = h; for j = 1:xt hn = hn / sqrt(j); p(i) = p(i) + exp(-(x - w(j,:,i)*(x - w(j,:,i)'/ (2 * power(hn,2) / (hn * sqrt(2*3.14); end p(i) = p(i) / xt;end% k-最近鄰算法% w：c類(lèi)訓(xùn)練樣本% x：測(cè)試樣本% k：參數(shù)function p = kNearestNeighbor(w,k,x)% w = w(:,:,1);w(:,:,2);w(:,:,3);xt,yt,zt = size(w);wt = ;%ze

9、ros(xt*zt, yt);if nargin=2p = zeros(1,zt); for i = 1:xt for j = 1:xt dist(j,i) = norm(wt(i,:) - wt(j,:); end t(:,i) = sort(dist(:,i); m(:,i) = find(dist(:,i) <= t(k+1,i); % 找到k個(gè)最近鄰的編號(hào) endend if nargin=3 for q = 1:zt wt = wt; w(:,:,q); xt,yt = size(wt); end for i = 1:xt dist(i) = norm(x - wt(i,:);

10、 end t = sort(dist); % 歐氏距離排序 a,b = size(t); m = find(dist <= t(k+1); % 找到k個(gè)最近鄰的編號(hào) num1 = length(find(m>0 & m<11); num2 = length(find(m>10 & m<21); num3 = length(find(m>20 & m<31);if yt = 3 plot3(w(:,1,1),w(:,2,1),w(:,3,1), 'r.'); hold on; grid on; plot3(w(:,

11、1,2),w(:,2,2),w(:,3,2), 'g.'); plot3(w(:,1,3),w(:,2,3),w(:,3,3), 'b.');if (num1 > num2) | (num1 > num3) plot3(x(1,1),x(1,2),x(1,3), 'ro'); disp('點(diǎn)：',num2str(x),'屬于第一類(lèi)');elseif (num2 > num1) | (num2 > num3) plot3(x(1,1),x(1,2),x(1,3), 'go');

12、 disp('點(diǎn)：',num2str(x),'屬于第二類(lèi)');elseif (num3 > num1) | (num3 > num2) plot3(x(1,1),x(1,2),x(1,3), 'bo'); disp('點(diǎn)：',num2str(x),'屬于第三類(lèi)');else disp('無(wú)法分類(lèi)');endendif yt = 2 plot(w(:,1,1),w(:,2,1), 'r.'); hold on; grid on; plot(w(:,1,2),w(:,2,2)

13、, 'g.'); plot(w(:,1,3),w(:,2,3), 'b.');if (num1 > num2) | (num1 > num3) plot(x(1,1),x(1,2), 'ro'); disp('點(diǎn)：',num2str(x),'屬于第一類(lèi)');elseif (num2 > num1) | (num2 > num3) plot(x(1,1),x(1,2), 'go'); disp('點(diǎn)：',num2str(x),'屬于第二類(lèi)');e

14、lseif (num3 > num1) | (num3 > num2) plot(x(1,1),x(1,2), 'bo'); disp('點(diǎn)：',num2str(x),'屬于第三類(lèi)');else disp('無(wú)法分類(lèi)');endendendtitle('k-最近鄰分類(lèi)器');legend('第一類(lèi)數(shù)據(jù)',. '第二類(lèi)數(shù)據(jù)',. '第三類(lèi)數(shù)據(jù)',. '測(cè)試樣本點(diǎn)');clear;close all;% Parzen窗估計(jì)和k最近鄰估計(jì)%w1(

15、:,:,1) = 0.28 1.31 -6.2; 0.07 0.58 -0.78; 1.54 2.01 -1.63; -0.44 1.18 -4.32; -0.81 0.21 5.73; 1.52 3.16 2.77; 2.20 2.42 -0.19; 0.91 1.94 6.21; 0.65 1.93 4.38; -0.26 0.82 -0.96;w1(:,:,2) = 0.011 1.03 -0.21; 1.27 1.28 0.08; 0.13 3.12 0.16; -0.21 1.23 -0.11; -2.18 1.39 -0.19; 0.34 1.96 -0.16; -1.38 0.9

16、4 0.45; -0.12 0.82 0.17; -1.44 2.31 0.14; 0.26 1.94 0.08;w1(:,:,3) = 1.36 2.17 0.14; 1.41 1.45 -0.38; 1.22 0.99 0.69; 2.46 2.19 1.31; 0.68 0.79 0.87; 2.51 3.22 1.35; 0.60 2.44 0.92; 0.64 0.13 0.97; 0.85 0.58 0.99; 0.66 0.51 0.88;x(1,:) = 0.5 1 0;x(2,:) = 0.31 1.51 -0.5;x(3,:) = -0.3 0.44 -0.1;% 驗(yàn)證h的

17、二維數(shù)據(jù)w2(:,:,1) = 0.28 1.31 ; 0.07 0.58 ; 1.54 2.01 ; -0.44 1.18 ; -0.81 0.21 ; 1.52 3.16 ; 2.20 2.42 ; 0.91 1.94 ; 0.65 1.93 ; -0.26 0.82 ;w2(:,:,2) = 0.011 1.03 ; 1.27 1.28 ; 0.13 3.12 ; -0.21 1.23 ; -2.18 1.39 ; 0.34 1.96 ; -1.38 0.94 ; -0.12 0.82 ; -1.44 2.31 ; 0.26 1.94 ;w2(:,:,3) = 1.36 2.17 ; 1

18、.41 1.45 ; 1.22 0.99 ; 2.46 2.19 ; 0.68 0.79 ; 2.51 3.22 ; 0.60 2.44 ; 0.64 0.13 ; 0.85 0.58 ; 0.66 0.51 ;y(1,:) = 0.5 1;y(2,:) = 0.31 1.51;y(3,:) = -0.3 0.44;h = .1; % 重要參數(shù)p = Parzen(w1,x(1,:),h);num = find(p = max(p);disp('點(diǎn)：',num2str(x(1,:),'落在三個(gè)類(lèi)別的概率分別為：',num2str(p);disp('點(diǎn)：',num2str(x(1,:),'落在第',num2str(num),'類(lèi)');% 給定三類(lèi)二維樣本，畫(huà)出二維正態(tài)概率密度曲面圖驗(yàn)證h的作用num =1; % 第num類(lèi)的二維正態(tài)概率密度曲面圖，取值為1，2，3draw(w2,h,num); str1='當(dāng)h='str2=num2str(h);str3='時(shí)的二維正