遺傳算法在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的應(yīng)用

1、第4卷第2期大連民族學(xué)院學(xué)報(bào)Vol.4 No.2 2002年4月 JOURNAL OF DALIAN NATIONALITIES UNIVERSITY Apr. 2002 遺傳算法在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的應(yīng)用李春時(shí)(大連民族學(xué)院計(jì)算機(jī)系,遼寧大連開發(fā)區(qū)116600摘要:通過對正被廣泛應(yīng)用的、智能的、并行的全局優(yōu)化方法遺傳算法的性能分析,并與其它算法比較,闡述了遺傳算法在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的優(yōu)越性.關(guān)鍵詞:遺傳算法;神經(jīng)網(wǎng)絡(luò);交叉運(yùn)算;變異運(yùn)算中圖分類號:TP399 文獻(xiàn)標(biāo)識碼:A 文章編號:1009-315X(200202-0021-03一般說來,簡單的算法不有效,有效的算法又不簡單,從而算法的有效性和

2、簡單性相互沖突. 神經(jīng)網(wǎng)絡(luò)本身是一個(gè)自組織、自適應(yīng)的動(dòng)態(tài)系統(tǒng),傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法多半將網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、權(quán)重及參數(shù)的訓(xùn)練分步進(jìn)行,這種割裂的、靜態(tài)的學(xué)習(xí)方法無法適應(yīng)神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)的、自適應(yīng)的特點(diǎn),從而降低了網(wǎng)絡(luò)的智能性. 遺傳算法用簡單的遺傳操作和優(yōu)勝劣汰的自然選擇來指導(dǎo)學(xué)習(xí)和確定搜索的方向,同時(shí)優(yōu)化拓?fù)浣Y(jié)構(gòu),連接權(quán)重、隱節(jié)點(diǎn)中心和寬度參數(shù),不要求目標(biāo)函數(shù)連續(xù),搜索具有全局性質(zhì),因此容易得到全局最優(yōu)解或性能很好的次優(yōu)解.1遺傳算法與人工神經(jīng)網(wǎng)絡(luò)1. 1 遺傳算法(G A遺傳算法基于Darwin進(jìn)化論及Mendel的遺傳學(xué)說,首先將問題求解表示成基因型或稱“染色體”,從而構(gòu)成染色體群,將其置于

3、問題的環(huán)境中,根據(jù)適者生存的原則,從中選出適應(yīng)環(huán)境的“染色體”進(jìn)行復(fù)制再生,通過交叉、變異操作產(chǎn)生新一代更適合環(huán)境的染色體群. 這樣,依據(jù)某種收斂條件,一代一代不斷變化,最后收斂到一個(gè)最適應(yīng)環(huán)境的個(gè)體上,求得問題的最優(yōu)解.遺傳算法與傳統(tǒng)的算法不同,主要體現(xiàn)在兩個(gè)方面:(1智能性,它體現(xiàn)在自組織、自適應(yīng)和自學(xué)習(xí)性方面. 應(yīng)用遺傳算法求解問題的步驟是,在確定了編碼方案、適應(yīng)值函數(shù)及遺傳算子后,算法將利用進(jìn)化過程中獲得的信息自行組織搜索. 因此利用遺傳算法可以解決那些在結(jié)構(gòu)上尚無人能理解的復(fù)雜問題.(2并行性,一是內(nèi)在并行性,即遺傳算法適合在目前的并行機(jī)或分布式系統(tǒng)上進(jìn)行并行處理;二是內(nèi)含并行性,由

4、于進(jìn)化計(jì)算采收稿日期:2001 - 05 - 13.作者簡介:李春時(shí)(1970-,女,黑龍江巴彥人,講師.22大連民族學(xué)院學(xué)報(bào)第4卷 用種群的方式組織搜索,從而可以同時(shí)搜索解空間內(nèi)的多個(gè)區(qū)域,并相互交流信息, 這種搜索方式使得它雖然每次只執(zhí)行與種群規(guī)模N 成正比例的計(jì)算,而實(shí)質(zhì)上已進(jìn)行了大約O (N 3次有效搜索. 這使得遺傳算法能以較少的計(jì)算量獲得較大的收益(遺傳算法的運(yùn)算過程見圖1.1. 2 人工神經(jīng)網(wǎng)絡(luò)(A N N 人工神經(jīng)網(wǎng)絡(luò)是基于模仿大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理方法1,即用大量的簡單計(jì)算處理單元(神經(jīng)元構(gòu)成的非線性系統(tǒng). 它具有學(xué)習(xí)能力、記憶能力、計(jì)算能力以及各種智能處理功能

5、,能夠在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理、存儲及檢索功能. 人工神經(jīng)網(wǎng)絡(luò)主要應(yīng)用在以下幾個(gè)方面:非線性函數(shù)逼近、模式識別、知識處理工程和專家系統(tǒng)、控制及優(yōu)化、金融預(yù)測與管理等. 2應(yīng)用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方法多半是根據(jù)經(jīng)驗(yàn)來設(shè)計(jì)網(wǎng)絡(luò)的結(jié)構(gòu)和確定網(wǎng)絡(luò)的參數(shù),然后利用梯度下降法學(xué)習(xí)網(wǎng)絡(luò)的權(quán)系數(shù)、參數(shù). 這一問題本身也是很困難的, 因?yàn)槲覀兘?jīng)常對應(yīng)用問題的網(wǎng)絡(luò)結(jié)構(gòu)以及學(xué)習(xí)任務(wù)本身并沒有很多的準(zhǔn)備知識. 并且這些學(xué)習(xí)算法大多數(shù)是通過樣本實(shí)例的學(xué)習(xí)訓(xùn)練來確定神經(jīng)網(wǎng)絡(luò)的權(quán)值,但并沒有考慮整個(gè)網(wǎng)絡(luò)的優(yōu)化問題.遺傳算法是基于進(jìn)化學(xué)說的智能、并行的全局優(yōu)化方法,將其應(yīng)用于設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的基本思想是先用有限

6、個(gè)參數(shù)描述一個(gè)神經(jīng)網(wǎng)絡(luò)模型,再把這些參數(shù)編碼為染色體,利用GA 的全局搜索能力在整個(gè)參數(shù)空間內(nèi)搜索,找出符合要求的最佳參數(shù)組合,從而設(shè)計(jì)出性能優(yōu)良的神經(jīng)網(wǎng)絡(luò).具體算法:(1隨機(jī)產(chǎn)生N 個(gè)染色體數(shù)字串,組成初始種群,其中每個(gè)染色體表示一種參數(shù)組合對應(yīng)的神經(jīng)網(wǎng)絡(luò)模型;(2REPEAT 取出種群中第I 個(gè)染色體,解碼后得到一種參數(shù)組合,構(gòu)成一個(gè)神經(jīng)網(wǎng)絡(luò);評價(jià)所得神經(jīng)網(wǎng)絡(luò),計(jì)算其對應(yīng)染色體的適應(yīng)度;UNTIL 種群為空;進(jìn)行選擇、交叉、變異運(yùn)算,構(gòu)成下一代種群;(3新種群滿足性能評價(jià)標(biāo)準(zhǔn)或到達(dá)給定代數(shù),轉(zhuǎn)到(5,否則轉(zhuǎn)到(2重復(fù)執(zhí)行;(4解碼種群適應(yīng)度最高的染色體,用其參數(shù)集構(gòu)成一個(gè)神經(jīng)網(wǎng)絡(luò),即為結(jié)構(gòu)

7、最優(yōu)的神經(jīng)網(wǎng)絡(luò).染色體設(shè)計(jì):在生物學(xué)上,染色體結(jié)構(gòu)是一系列基因按層次排列而成的,上層基因控制下層基因. 根 據(jù)這一特點(diǎn),將染色體設(shè)計(jì)成包括控制基因和參數(shù)基因的遞階結(jié)構(gòu),表示隱節(jié)點(diǎn)的控制基第2期李春時(shí):遺傳算法在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的應(yīng)用 23因處于上級,表示參數(shù)的基因處于下級,下級基因受控于上級基因. 控制基因采用二進(jìn)制編碼,當(dāng)取0、1不同值時(shí),控制的相應(yīng)下級基因分別處于有效或無效狀態(tài). 參數(shù)基因采用實(shí)數(shù)編碼,可加強(qiáng)空間搜索能力. 對于只有一個(gè)隱層的網(wǎng)絡(luò),其編碼如下圖2所示: 圖2 只有一個(gè)隱層的網(wǎng)絡(luò)編碼示意遞階染色體設(shè)計(jì)的遺傳算法的操作不僅可以同時(shí)優(yōu)化整個(gè)網(wǎng)絡(luò),而且層次清晰,算法本身的智能性、自適

8、應(yīng)性能更好的滿足設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的初衷. 使用此方法訓(xùn)練只有一個(gè)隱層的RBF網(wǎng)絡(luò)較其它方法精度有很大提高3.3結(jié)論我們知道,只含有一個(gè)隱層的前饋網(wǎng)絡(luò)是一個(gè)通用的逼近器, 可以任意逼近一個(gè)非線性函數(shù),但這并不說明一個(gè)隱層是最好的. 文獻(xiàn)4證明,逼近相同輸入維數(shù)的函數(shù),兩個(gè)隱層的網(wǎng)絡(luò)可能比單個(gè)隱層所需單元數(shù)少得多. 但采用傳統(tǒng)的訓(xùn)練方法,增加網(wǎng)絡(luò)的層數(shù)不僅會(huì)使問題本身變得很復(fù)雜,而且會(huì)使運(yùn)算量增長. 采用遺傳訓(xùn)練方法,將多層的網(wǎng)絡(luò)參數(shù)設(shè)計(jì)在不同的基因級上,由于算法本身的自適應(yīng)性、并行性,使多層網(wǎng)絡(luò)的整體優(yōu)化變得可行.參考文獻(xiàn):1 閻平凡,張長水. 人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算M. 北京:清華大學(xué)出版社,

9、2001.2 潘正君,康立山,陳毓屏. 演化計(jì)算M. 北京:清華大學(xué)出版社,2000.3 鄭丕諤,馬艷華. RBF神經(jīng)網(wǎng)絡(luò)的遞階遺傳訓(xùn)練新方法J. 控制與決策.2000,(2:165.4 Ramura S.Capabilities of a Four-layered Feedforward NN,Four Layer Versus Three LayerJ. IEEE Trans NN.1997,(8:251.The Application of Genetic Algorithm in Neural Network DesignLI Chun-shi(Dalian Nationalities University, Dalian Development Zone 116600, ChinaAbstract:By analyzing the widely used, intelligent and overall optimized methodgenetic algorithmand comparing it with other algorithm,