動(dòng)態(tài)K_均值聚類算法在RBF神經(jīng)網(wǎng)絡(luò)中心選取中的應(yīng)用

1、 TECHNOLOGY 技術(shù)應(yīng)用引言徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBFNN以其簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)、快速的學(xué)習(xí)方法、較好的推廣能力,已經(jīng)廣泛地應(yīng)用于許多領(lǐng)域,特別是模式識(shí)別和函數(shù)逼近等領(lǐng)域。然而,如何有效地確定RBF 神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù),至今沒(méi)有系統(tǒng)的規(guī)律可循。在RBF 神經(jīng)網(wǎng)絡(luò)中需要確定的參數(shù)包括隱含層節(jié)點(diǎn)數(shù)、隱含層基函數(shù)的中心值和寬度、隱含層到輸出層的連接權(quán)值。目前,隱含層節(jié)點(diǎn)數(shù)主要依靠經(jīng)驗(yàn)來(lái)選取。而根據(jù)moody 準(zhǔn)則,神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)應(yīng)該在滿足精度要求的情況下有最小的結(jié)構(gòu),以保證網(wǎng)絡(luò)的泛化能力1。由于隱含層基函數(shù)中心值的選取對(duì)網(wǎng)絡(luò)的函數(shù)逼近能力有很大的影響,目前最常用的確定隱含層中心值的方法是K

2、-均值聚類法。由于K-均值聚類法的聚類過(guò)程一般能夠根據(jù)輸入向量比較準(zhǔn)確地確定聚類數(shù)和相應(yīng)的聚類中心,因此,如果在已知全部輸入向量時(shí)使用該方法能夠比較精確地確定網(wǎng)絡(luò)結(jié)構(gòu)。但是,它要求實(shí)現(xiàn)確定全部輸入向量和指定聚類中心的數(shù)目,這在實(shí)際應(yīng)用中很難辦到。而動(dòng)態(tài)K-均值聚類方法能夠根據(jù)輸入來(lái)實(shí)時(shí)地確定網(wǎng)絡(luò)的中心。因此,本文提出動(dòng)態(tài)均值聚類方法,對(duì)一般的K-均值方法進(jìn)行改進(jìn)。一、BRF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原理RBF 神經(jīng)網(wǎng)絡(luò)最基本的結(jié)構(gòu)形式是一種三層前向網(wǎng)動(dòng)態(tài)K-均值聚類算法在RBF神經(jīng)網(wǎng)絡(luò)中心選取中的應(yīng)用雷升鍇劉紅陽(yáng)何嘉何險(xiǎn)峰薛勤摘要:RBF神經(jīng)網(wǎng)絡(luò)構(gòu)造的關(guān)鍵問(wèn)題是中心的選取,動(dòng)態(tài)K-均值聚類算法采用調(diào)整聚類

3、中心的方法,使網(wǎng)絡(luò)中心的選擇更精確。本文先簡(jiǎn)介了RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原理,然后將動(dòng)態(tài)K-均值算法應(yīng)用于BRF神經(jīng)網(wǎng)絡(luò)的中心選取,最后進(jìn)行了仿真實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明采用動(dòng)態(tài)K-均值算法確定中心的RBF神經(jīng)網(wǎng)絡(luò)逼近性能更好,具有較強(qiáng)的實(shí)用性。關(guān)鍵詞:徑向基函數(shù);神經(jīng)網(wǎng)絡(luò);動(dòng)態(tài)均值聚類算法;函數(shù)逼近絡(luò)。網(wǎng)絡(luò)的基本構(gòu)成包括輸入層、隱含層和輸出層,各層的節(jié)點(diǎn)數(shù)目分別為P ,M ,L ,每一層都有著完全不同的作用。其結(jié)構(gòu)如圖1所示。第一層是輸入層,由一些信號(hào)源節(jié)點(diǎn)(感知單元組成,它們將網(wǎng)絡(luò)與外界環(huán)境連接起來(lái)。第二層是隱含層,由若干個(gè)隱節(jié)點(diǎn)構(gòu)成。隱含層只有一個(gè)隱含層單元,采用徑向基函數(shù)作為其輸出特性。第三層是

4、輸出層,由若干個(gè)線性求和單元的輸出節(jié)點(diǎn)組成,它對(duì)輸入模式的作用產(chǎn)生響應(yīng)。輸入層節(jié)點(diǎn)傳遞輸入信號(hào)到隱含層。從輸入空間到隱含層空間的變換是非線性的,而從隱含層空間到輸出層空間的變換是線性的。網(wǎng)絡(luò)輸出節(jié)點(diǎn)計(jì)算隱節(jié)點(diǎn)給出基函數(shù)的線性組合。輸入層到隱含層之間的權(quán)值固定為1,只有隱含層到輸出層之間的權(quán)值W kj (k=1,2,L ;j=1,2,M可調(diào)。圖1 RBF 神經(jīng)網(wǎng)絡(luò)的組成 TECHNOLOGY 技術(shù)應(yīng)用在圖1中,輸入層由P個(gè)信號(hào)源節(jié)點(diǎn)組成。設(shè)N為當(dāng)前訓(xùn)練的樣本總數(shù),對(duì)于訓(xùn)練集的每個(gè)樣本即為輸入矢量:X=(x l,x2,x p,其中x i(i=1,P為網(wǎng)絡(luò)的第i個(gè)輸入。隱含層由M個(gè)隱節(jié)點(diǎn)組成。每個(gè)隱

5、含層節(jié)點(diǎn)的激活函數(shù)是一個(gè)徑向基函數(shù),它是一種局部分布的中心點(diǎn)徑向?qū)ΨQ衰減的非負(fù)非線性函數(shù)。由于高斯基函數(shù)具備表示形式簡(jiǎn)單、徑向?qū)ΨQ、光滑性好、易于進(jìn)行理論分析等優(yōu)點(diǎn),所以文中隱含層變換函數(shù)采用高斯基函數(shù),其表達(dá)形式如下所示:j=1,2,M(1其中,X=(x1,x2,x pT為網(wǎng)絡(luò)輸入矢量。C j為隱含層第j個(gè)高斯單元的中心矢量,與X具有相同維數(shù)的向量,C j=(c j1,c j2,c jp,(j=l,2,M。ðj是第j個(gè)感知的變量(可以自由選擇的參數(shù),M是隱節(jié)點(diǎn)范數(shù),表示j個(gè)節(jié)點(diǎn)的輸由高斯公式可y L,2是輸出節(jié)點(diǎn)個(gè)數(shù),j w kj為第個(gè)輸出節(jié)點(diǎn)與第,2,M二、BRF中心調(diào)整的動(dòng)態(tài)K

6、-均值聚類算法RBF網(wǎng)絡(luò)中心學(xué)習(xí)過(guò)程分兩步:一是根據(jù)輸入樣本確定隱含層各節(jié)點(diǎn)的變換函數(shù)的中心C j和半徑j(luò);二是采用誤差校正學(xué)習(xí)算法,調(diào)節(jié)輸出層的權(quán)W。其目的就是把輸入數(shù)據(jù)分配到一定數(shù)目的有意義的類別中去,即根據(jù)歐氏空間中的距離來(lái)對(duì)輸入向量進(jìn)行聚類。本文采用自適應(yīng)調(diào)整聚類中心的方法動(dòng)態(tài)均值聚類法。該方法的基本思想是:首先已知據(jù)聚類中心的數(shù)目,然后隨著向量的輸入,計(jì)算輸入向量與特定聚類中心的歐氏距離。如果距離小于門(mén)限值,則將該聚類中心所對(duì)應(yīng)的輸入向量的平均值作為新的聚類中心;如果距離大于門(mén)限值,則將剛輸入的向量作為新的聚類中心。再接著輸入向量,直到確定所有的聚類中心。2.2 動(dòng)態(tài)K-均值聚類算法

7、在RBF中的應(yīng)用動(dòng)態(tài)K-均值聚類算法在RBF網(wǎng)絡(luò)中心選取中的作用是調(diào)整聚類中心,使網(wǎng)絡(luò)中心的選取更精確。它的計(jì)算過(guò)程可以簡(jiǎn)要的描述如下:首先,令類別數(shù)為0(第一個(gè)輸入會(huì)強(qiáng)迫創(chuàng)建出一個(gè)類別模式以支持該輸入。以后,每遇到每一個(gè)新的輸入向量,則計(jì)算它與任何一個(gè)已分配的類別模式之間的距離。如果指定第P個(gè)輸入向量為X(p以及第j個(gè)聚類中心為C j,則歐氏距離d可以表示為:3設(shè)輸入向量和所有已分配的模式類別之間C k,應(yīng)有d0= X X(p- C j,j=1,T, j k其中T是已分配類別的數(shù)目。在確定了與輸入矢量最近的中心后,k就已經(jīng)確定了,從而d0也就確定了。先把它和距離門(mén)限值進(jìn)行比較,會(huì)有如下兩種情

8、況:(1當(dāng)d0<時(shí),輸入矢量X(p在允許的誤差范圍內(nèi),該輸入矢量屬于第k個(gè)類別。也就是說(shuō),如果用S k表示第K個(gè)中心所對(duì)應(yīng)的全部輸入矢量的集合,則X(pS。這時(shí)可以引入k-均值聚類方法的思想,通過(guò)求得所有成員矢量的平均值來(lái)進(jìn)行中心更新。即:(4其中K個(gè)聚類中心所對(duì)的輸入矢量的個(gè)數(shù)。(2當(dāng)d0>時(shí),輸入矢量X(p不在允許的誤差范圍內(nèi),從而不能分配到該類別中去。此時(shí),應(yīng)該以X(p為中心,分配一個(gè)新的聚類中心,算法流程圖如圖2所示。 TECHNOLOGY 技術(shù)應(yīng)用(5三、仿真試驗(yàn)及結(jié)果分析本實(shí)驗(yàn)通過(guò)RBF K-均值聚類和動(dòng)態(tài)K-均值聚類方法的優(yōu)劣。實(shí)驗(yàn)環(huán)境為PC 機(jī)一臺(tái),所用工具為考慮非

9、線性函數(shù),用RBF 神經(jīng)網(wǎng)絡(luò)進(jìn)行函數(shù)逼近。x 以0.1為間隔在0,10上均勻取值,可得到100個(gè)樣本作為訓(xùn)練樣本。RBF 神經(jīng)網(wǎng)絡(luò)的中心點(diǎn)個(gè)數(shù)取m=20,基函數(shù)用高斯函數(shù)。對(duì)分別采用K-均值算法和動(dòng)態(tài)K-均值算法確定RBF 神經(jīng)網(wǎng)絡(luò)中心進(jìn)行比較:采用K-均值聚類算法,訓(xùn)練時(shí)樣本的最小平均相對(duì)誤差為0.1014327,圖3為K-均值聚類法RBF 擬合曲線。采用動(dòng)態(tài)K-均值聚類算法,訓(xùn)練時(shí)樣本的平均相對(duì)誤差為0.0731432,圖4為動(dòng)態(tài)K-均值聚類法RBF 擬合曲線?？梢?jiàn)采用動(dòng)態(tài)K-均值聚類算法可以獲得更好的效果。四、結(jié)論本文在k-均值聚類算法的基礎(chǔ)上,將動(dòng)態(tài)均值聚類方法應(yīng)用到RBF 神經(jīng)網(wǎng)絡(luò)。

10、該方法有效地解決了k-均值聚類的局限性,提高了RBF 的網(wǎng)絡(luò)學(xué)習(xí)能力。通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了該方法的實(shí)用性和精確度,可供進(jìn)一步的研究和實(shí)際應(yīng)用。 H參考文獻(xiàn)1閻平凡,張長(zhǎng)水.人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算M.北京:清華大學(xué)出版社,2003.2張海朝,黃淼.基于RBF神經(jīng)網(wǎng)絡(luò)的B樣條曲面重構(gòu)J,微電子學(xué)與計(jì)算機(jī),2008,7.3蘭天鴿,方勇華.構(gòu)造RBF神經(jīng)網(wǎng)絡(luò)及其參數(shù)優(yōu)化J,計(jì)算機(jī)工程,2008,33(5.4Roy A,Govil S,Miranda R.A Neural Network Learning Theory and aPolynomial Time RBF AlgorithmJ.IEEE

11、Trans.on Neural Network,1997,8(6:1301-1313.5潘登,鄭應(yīng)平.基于RBF神經(jīng)網(wǎng)絡(luò)的網(wǎng)格數(shù)據(jù)聚類方法J.計(jì)算機(jī)應(yīng)用,2007,26(2.6任江濤,孫婧昊.一種用于文本聚類的改進(jìn)的K均值算法J.計(jì)算機(jī)應(yīng)用,2006,26(6.7Mashor M Y.Hybrid training algorithm for RBF networkJ.I n t e r n a -t i o n a l J o u r n a l o f t h e C o m p u t e r ,t h e I n t e r n e t a n d Management,2000,8(

12、2:48-65.8B i a n c h i n i M ,F r a s c o n o P ,C o r i M.L e a r n i n g w i t h o u t minima radialbasis function networkJ.IEEE Trans on Neural Networks,1995,6(3:749-756.9Pedrycz W.Conditional fuzzy clustering in the design of radial ba-sis function neural networkJ.IEEE Trans on Neural Networks,1998,9(4:601-612.10G o n z a l e z J ,P o j a s