matlab神經(jīng)網(wǎng)絡(luò)工具箱簡(jiǎn)介和函數(shù)及示例學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1matlab神經(jīng)網(wǎng)絡(luò)工具箱簡(jiǎn)介和函數(shù)神經(jīng)網(wǎng)絡(luò)工具箱簡(jiǎn)介和函數(shù)(hnsh)及示例及示例第一頁(yè)，共25頁(yè)。第十一章第十一章 神經(jīng)網(wǎng)絡(luò)工具神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)箱函數(shù)(hnsh)(hnsh)第1頁(yè)/共24頁(yè)第二頁(yè)，共25頁(yè)。MATLABMATLAB的神經(jīng)網(wǎng)絡(luò)工具箱簡(jiǎn)介的神經(jīng)網(wǎng)絡(luò)工具箱簡(jiǎn)介(jin ji)(jin ji)l 構(gòu)造典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，使設(shè)計(jì)者對(duì)所選網(wǎng)絡(luò)輸出的構(gòu)造典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，使設(shè)計(jì)者對(duì)所選網(wǎng)絡(luò)輸出的計(jì)算變成對(duì)激活函數(shù)的調(diào)用。計(jì)算變成對(duì)激活函數(shù)的調(diào)用。l 根據(jù)各種典型的修正網(wǎng)絡(luò)權(quán)值的規(guī)則，再加上網(wǎng)絡(luò)的訓(xùn)練過(guò)根據(jù)各種典型的修正網(wǎng)絡(luò)權(quán)值的規(guī)則，再加上網(wǎng)絡(luò)的訓(xùn)練過(guò)程，利用程，利

2、用matlab編寫各種網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練的子程序。編寫各種網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練的子程序。l 設(shè)計(jì)人員可以根據(jù)自己的需要去調(diào)用工具箱中有關(guān)的設(shè)計(jì)和設(shè)計(jì)人員可以根據(jù)自己的需要去調(diào)用工具箱中有關(guān)的設(shè)計(jì)和訓(xùn)練程序，將自己從繁瑣的編程中解脫出來(lái)訓(xùn)練程序，將自己從繁瑣的編程中解脫出來(lái)(ch li)，提高工作，提高工作效率。效率。第2頁(yè)/共24頁(yè)第三頁(yè)，共25頁(yè)。神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)(hnsh)(hnsh)l 神經(jīng)網(wǎng)絡(luò)函數(shù)神經(jīng)網(wǎng)絡(luò)函數(shù)l 權(quán)值函數(shù)權(quán)值函數(shù)l 網(wǎng)絡(luò)的輸入網(wǎng)絡(luò)的輸入(shr)函數(shù)函數(shù)l 傳遞函數(shù)傳遞函數(shù)l 初始化函數(shù)初始化函數(shù)l 性能函數(shù)性能函數(shù)l 學(xué)習(xí)函數(shù)學(xué)習(xí)函數(shù)l 自適應(yīng)函數(shù)自適應(yīng)函數(shù)

3、l 訓(xùn)練函數(shù)訓(xùn)練函數(shù)第3頁(yè)/共24頁(yè)第四頁(yè)，共25頁(yè)。神經(jīng)網(wǎng)絡(luò)函數(shù)神經(jīng)網(wǎng)絡(luò)函數(shù)(hnsh)newff(hnsh)newff功能功能(gngnng)： Create a feed-forward backpropagation network格式格式(g shi)： net = newff(PR,S1 S2.SNl,TF1.TFNl,BTF,BLF,PF)第4頁(yè)/共24頁(yè)第五頁(yè)，共25頁(yè)。例子例子(l zi)1:(l zi)1: help newff help newff 第5頁(yè)/共24頁(yè)第六頁(yè)，共25頁(yè)。 以一個(gè)以一個(gè)(y )單隱層的單隱層的BP網(wǎng)絡(luò)設(shè)計(jì)為例，介紹利用神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)為例，介紹利用

4、神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行網(wǎng)絡(luò)工具箱進(jìn)行BP網(wǎng)絡(luò)設(shè)計(jì)及分析的過(guò)程網(wǎng)絡(luò)設(shè)計(jì)及分析的過(guò)程1. 問(wèn)題問(wèn)題(wnt)描述描述P=-1:0.1:1;T=-0.9602 -0.577 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201; 通過(guò)對(duì)函數(shù)通過(guò)對(duì)函數(shù)(hnsh)進(jìn)行采樣得到了網(wǎng)絡(luò)的輸進(jìn)行采樣得到了網(wǎng)絡(luò)的輸入變量入變量P和目標(biāo)變量和目標(biāo)變量T：例子例子2:2:設(shè)計(jì)一個(gè)隱含層神經(jīng)元

5、數(shù)目神經(jīng)元個(gè)數(shù)設(shè)計(jì)一個(gè)隱含層神經(jīng)元數(shù)目神經(jīng)元個(gè)數(shù)第6頁(yè)/共24頁(yè)第七頁(yè)，共25頁(yè)。2. 網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)的設(shè)的設(shè)計(jì)計(jì) 網(wǎng)絡(luò)的輸入層和輸出層的神經(jīng)元個(gè)數(shù)均為網(wǎng)絡(luò)的輸入層和輸出層的神經(jīng)元個(gè)數(shù)均為1，網(wǎng)絡(luò)，網(wǎng)絡(luò)的隱含的隱含(yn hn)神經(jīng)元個(gè)數(shù)應(yīng)該在神經(jīng)元個(gè)數(shù)應(yīng)該在38之間。之間。網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)設(shè)計(jì)及運(yùn)行的代碼：設(shè)計(jì)及運(yùn)行的代碼：s=3:8;res=1:6;for i=1:6; net=newff(minmax(P),s(i) 1,tansig logsig,traingdx); net.trainParam.epochs=2000; net.trainParam.goal=0.00

6、1; net=train(net,P,T) y=sim(net,P) error=y-T; res(i)=norm(error);end第7頁(yè)/共24頁(yè)第八頁(yè)，共25頁(yè)。代碼運(yùn)行結(jié)果代碼運(yùn)行結(jié)果(ji gu)：網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)訓(xùn)練誤差訓(xùn)練誤差結(jié)論結(jié)論(jiln)：隱含層節(jié)點(diǎn)設(shè)為：隱含層節(jié)點(diǎn)設(shè)為8 第8頁(yè)/共24頁(yè)第九頁(yè)，共25頁(yè)。BPBP網(wǎng)絡(luò)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練(xnlin)(xnlin)步驟步驟步驟步驟1: 初始化初始化步驟步驟2:計(jì)算網(wǎng)絡(luò)各層輸出矢量計(jì)算網(wǎng)絡(luò)各層輸出矢量(shling)步驟步驟3:計(jì)算網(wǎng)絡(luò)各層反向傳播的誤差變化計(jì)算網(wǎng)絡(luò)各層反向傳播的誤差變化,并計(jì)算各并計(jì)算各 層層權(quán)值的修正值

7、及修正值權(quán)值的修正值及修正值步驟步驟4:再次計(jì)算權(quán)值修正后的誤差再次計(jì)算權(quán)值修正后的誤差 平方和平方和步驟步驟5:檢查誤差檢查誤差 平方和是否小于平方和是否小于 誤差期望值誤差期望值,若是若是,停止停止訓(xùn)練訓(xùn)練,否則繼續(xù)否則繼續(xù).第9頁(yè)/共24頁(yè)第十頁(yè)，共25頁(yè)。 目前，神經(jīng)網(wǎng)絡(luò)工具箱中提供目前，神經(jīng)網(wǎng)絡(luò)工具箱中提供(tgng)的神經(jīng)網(wǎng)絡(luò)模型的神經(jīng)網(wǎng)絡(luò)模型主要應(yīng)用于：主要應(yīng)用于：l 函數(shù)逼近和模型擬合函數(shù)逼近和模型擬合(n h)l 信息處理和預(yù)測(cè)信息處理和預(yù)測(cè)l 神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)控制l 故障診斷故障診斷第10頁(yè)/共24頁(yè)第十一頁(yè)，共25頁(yè)。神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)(shxin)(shxin

8、)的具體操作過(guò)的具體操作過(guò)程：程：確定信息表達(dá)方式；確定信息表達(dá)方式；網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)模型的模型的確定；確定；網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)參數(shù)的參數(shù)的選擇；選擇；訓(xùn)練模式的確定；訓(xùn)練模式的確定；網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)測(cè)試測(cè)試第11頁(yè)/共24頁(yè)第十二頁(yè)，共25頁(yè)。確定確定(qudng)信息表達(dá)方式：信息表達(dá)方式： 將領(lǐng)域問(wèn)題將領(lǐng)域問(wèn)題(wnt)抽象為適合于網(wǎng)絡(luò)求解所能接抽象為適合于網(wǎng)絡(luò)求解所能接受的某種數(shù)據(jù)形式。受的某種數(shù)據(jù)形式。 問(wèn)題問(wèn)題(wnt)形式的種類：形式的種類：l 數(shù)據(jù)樣本已知；數(shù)據(jù)樣本已知；l 數(shù)據(jù)樣本之間相互關(guān)系不明確；數(shù)據(jù)樣本之間相互關(guān)系不明確；l 輸入輸入/輸出模式為連續(xù)的或

9、者離散的；輸出模式為連續(xù)的或者離散的；l 輸入數(shù)據(jù)按照模式進(jìn)行分類，模式可能會(huì)具有平輸入數(shù)據(jù)按照模式進(jìn)行分類，模式可能會(huì)具有平移、旋轉(zhuǎn)或者伸縮移、旋轉(zhuǎn)或者伸縮(shn su)等變化形式；等變化形式；l 數(shù)據(jù)樣本的預(yù)處理；數(shù)據(jù)樣本的預(yù)處理；l 將數(shù)據(jù)樣本分為訓(xùn)練樣本和測(cè)試樣本將數(shù)據(jù)樣本分為訓(xùn)練樣本和測(cè)試樣本第12頁(yè)/共24頁(yè)第十三頁(yè)，共25頁(yè)。網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型(mxng)的確的確定定 主要是根據(jù)問(wèn)題的實(shí)際情況，選擇模型的類型主要是根據(jù)問(wèn)題的實(shí)際情況，選擇模型的類型、結(jié)構(gòu)等。另外，還可以在典型網(wǎng)絡(luò)模型的基礎(chǔ)上，、結(jié)構(gòu)等。另外，還可以在典型網(wǎng)絡(luò)模型的基礎(chǔ)上，結(jié)合問(wèn)題的具體情況，對(duì)原網(wǎng)絡(luò)進(jìn)行變形、擴(kuò)充

10、結(jié)合問(wèn)題的具體情況，對(duì)原網(wǎng)絡(luò)進(jìn)行變形、擴(kuò)充(kuchng)等，同時(shí)還可以采用多種網(wǎng)絡(luò)模型的組等，同時(shí)還可以采用多種網(wǎng)絡(luò)模型的組合形式。合形式。網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)參數(shù)的參數(shù)的選擇選擇 確定網(wǎng)絡(luò)的輸入輸出神經(jīng)元的數(shù)目，如果是多層網(wǎng)確定網(wǎng)絡(luò)的輸入輸出神經(jīng)元的數(shù)目，如果是多層網(wǎng)絡(luò)，還需要進(jìn)一步確定隱含層神經(jīng)元的個(gè)數(shù)。絡(luò)，還需要進(jìn)一步確定隱含層神經(jīng)元的個(gè)數(shù)。第13頁(yè)/共24頁(yè)第十四頁(yè)，共25頁(yè)。訓(xùn)練訓(xùn)練(xnlin)模式的確定模式的確定 包括選擇包括選擇(xunz)合理的測(cè)試樣本，對(duì)網(wǎng)絡(luò)進(jìn)行合理的測(cè)試樣本，對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試、或者將網(wǎng)絡(luò)應(yīng)用于實(shí)際問(wèn)題，檢驗(yàn)網(wǎng)絡(luò)性能。測(cè)試、或者將網(wǎng)絡(luò)應(yīng)用于實(shí)際問(wèn)題，檢驗(yàn)網(wǎng)

11、絡(luò)性能。網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)測(cè)試測(cè)試 選擇合理的測(cè)試樣本，對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試，或者將選擇合理的測(cè)試樣本，對(duì)網(wǎng)絡(luò)進(jìn)行測(cè)試，或者將網(wǎng)絡(luò)應(yīng)用于實(shí)際問(wèn)題，檢驗(yàn)網(wǎng)絡(luò)性能。網(wǎng)絡(luò)應(yīng)用于實(shí)際問(wèn)題，檢驗(yàn)網(wǎng)絡(luò)性能。第14頁(yè)/共24頁(yè)第十五頁(yè)，共25頁(yè)。MATLABMATLAB的神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)的神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)(hnsh)(hnsh)函數(shù)類型函數(shù)名稱函數(shù)用途仿真函數(shù)仿真函數(shù)SIM針對(duì)給定的輸入，得到網(wǎng)絡(luò)輸出訓(xùn)練函數(shù)訓(xùn)練函數(shù)train調(diào)用其它訓(xùn)練函數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練trainh對(duì)權(quán)值和閾值進(jìn)行訓(xùn)練adapt自適應(yīng)函數(shù)學(xué)習(xí)函數(shù)learn網(wǎng)絡(luò)權(quán)值和閾值的學(xué)習(xí)初始化函數(shù)int對(duì)網(wǎng)絡(luò)進(jìn)行初始化intlay對(duì)多層網(wǎng)絡(luò)初始化

12、通用通用(tngyng)函數(shù)函數(shù)第15頁(yè)/共24頁(yè)第十六頁(yè)，共25頁(yè)。函數(shù)類型函數(shù)名稱函數(shù)用途輸入函數(shù)輸入函數(shù)netsum輸入求和函數(shù)netprcd輸入求積函數(shù) concur使權(quán)值向量和閾值向量的結(jié)構(gòu)一致其它dotprod權(quán)值求積函數(shù)第16頁(yè)/共24頁(yè)第十七頁(yè)，共25頁(yè)。BPBP網(wǎng)絡(luò)網(wǎng)絡(luò)(wnglu)(wnglu)的神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)(wnglu)(wnglu)工具箱函數(shù)工具箱函數(shù)函數(shù)類型函數(shù)名稱函數(shù)用途前向網(wǎng)絡(luò)創(chuàng)建函數(shù) 傳遞函數(shù)學(xué)習(xí)函數(shù)第17頁(yè)/共24頁(yè)第十八頁(yè)，共25頁(yè)。函數(shù)類型函數(shù)名稱函數(shù)用途性能函數(shù)性能函數(shù)顯示函數(shù)第18頁(yè)/共24頁(yè)第十九頁(yè)，共25頁(yè)。一、一、BP網(wǎng)絡(luò)創(chuàng)建網(wǎng)絡(luò)創(chuàng)建(ch

13、ungjin)函數(shù)函數(shù) 1）newcf 用于創(chuàng)建用于創(chuàng)建(chungjin)級(jí)聯(lián)前向級(jí)聯(lián)前向BP網(wǎng)絡(luò)網(wǎng)絡(luò)調(diào)用調(diào)用(dioyng)格式：格式：net=newcf net=newcf（PR,S1 S2.SN,TF1 TF2.TFN,BTF,BLF,PF）PR:由每組輸入（共有由每組輸入（共有R組輸入）元素的最大值和最小值組成的組輸入）元素的最大值和最小值組成的R*2維的矩陣維的矩陣Si：第第i層的長(zhǎng)度，共計(jì)層的長(zhǎng)度，共計(jì)N層；層； TFi：第第i層的傳遞函數(shù)，默認(rèn)為層的傳遞函數(shù)，默認(rèn)為“tansig”BTF：BP網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為“trainlm”BLF：權(quán)值和閾值的權(quán)值

14、和閾值的BP學(xué)習(xí)算法，默認(rèn)為學(xué)習(xí)算法，默認(rèn)為learngdm PF：網(wǎng)絡(luò)的性能函數(shù)，默認(rèn)為網(wǎng)絡(luò)的性能函數(shù)，默認(rèn)為“mse”第19頁(yè)/共24頁(yè)第二十頁(yè)，共25頁(yè)。l 參數(shù)參數(shù)TFi可以采用任意的可微傳遞函數(shù)，比如可以采用任意的可微傳遞函數(shù)，比如transig，logsig和和purelin等；等；l 訓(xùn)練訓(xùn)練(xnlin)函數(shù)可以是任意的函數(shù)可以是任意的BP訓(xùn)練訓(xùn)練(xnlin)函數(shù)，如函數(shù)，如trainm，trainbfg，trainrp和和traingd等。等。BTF默認(rèn)采用默認(rèn)采用trainlm是因?yàn)楹瘮?shù)的速度很快，但該函數(shù)的一個(gè)重要缺陷是運(yùn)行過(guò)程會(huì)消耗大量的內(nèi)存資源。如果計(jì)算機(jī)內(nèi)存不夠大

15、，不建議用是因?yàn)楹瘮?shù)的速度很快，但該函數(shù)的一個(gè)重要缺陷是運(yùn)行過(guò)程會(huì)消耗大量的內(nèi)存資源。如果計(jì)算機(jī)內(nèi)存不夠大，不建議用trainlm，而建議采用訓(xùn)練，而建議采用訓(xùn)練(xnlin)函數(shù)函數(shù)trainbfg或或trainrp。雖然這兩個(gè)函數(shù)的運(yùn)行速度比較慢，但它們的共同特點(diǎn)是內(nèi)存占用量小，不至于出現(xiàn)訓(xùn)練。雖然這兩個(gè)函數(shù)的運(yùn)行速度比較慢，但它們的共同特點(diǎn)是內(nèi)存占用量小，不至于出現(xiàn)訓(xùn)練(xnlin)過(guò)程死機(jī)的情況。過(guò)程死機(jī)的情況。說(shuō)明說(shuō)明(shumng)：第20頁(yè)/共24頁(yè)第二十一頁(yè)，共25頁(yè)。二、神經(jīng)元上的傳遞函數(shù)二、神經(jīng)元上的傳遞函數(shù) 傳遞函數(shù)是傳遞函數(shù)是BP網(wǎng)絡(luò)的重要組成部分，必須是連續(xù)網(wǎng)絡(luò)的重要

16、組成部分，必須是連續(xù)(linx)可微的，可微的，BP網(wǎng)絡(luò)常采用網(wǎng)絡(luò)常采用S型的對(duì)數(shù)或正切函數(shù)和型的對(duì)數(shù)或正切函數(shù)和線性函數(shù)。線性函數(shù)。Logsig 傳遞函數(shù)為傳遞函數(shù)為S型的對(duì)數(shù)函數(shù)。型的對(duì)數(shù)函數(shù)。調(diào)用格式為：調(diào)用格式為：A=logsig（N） N：Q個(gè)個(gè)S維的輸入列向量維的輸入列向量(xingling)；A：函數(shù)返回值，位于區(qū)間：函數(shù)返回值，位于區(qū)間(0,1) 中中第21頁(yè)/共24頁(yè)第二十二頁(yè)，共25頁(yè)。 info=logsig（code）依據(jù)依據(jù)code值的不同返回不同的信息，包括值的不同返回不同的信息，包括(boku)：deriv返回微分函數(shù)的名稱；返回微分函數(shù)的名稱；name返回函數(shù)全

17、程；返回函數(shù)全程；output返回輸出值域；返回輸出值域；active返回有效的輸入?yún)^(qū)間返回有效的輸入?yún)^(qū)間例如：例如：n=-10：0.1: 10;a=logsig(n);plot(n,a)matlab按照來(lái)計(jì)算對(duì)數(shù)傳遞函數(shù)的值：按照來(lái)計(jì)算對(duì)數(shù)傳遞函數(shù)的值：n=2/(1+exp(-2n)函數(shù)函數(shù)logsig可將神經(jīng)元的輸入（范圍為整個(gè)實(shí)數(shù)集）映射可將神經(jīng)元的輸入（范圍為整個(gè)實(shí)數(shù)集）映射(yngsh)到區(qū)間（到區(qū)間（0，1）中。）中。第22頁(yè)/共24頁(yè)第二十三頁(yè)，共25頁(yè)。learngd 該函數(shù)為梯度下降權(quán)值該函數(shù)為梯度下降權(quán)值/閾值學(xué)習(xí)閾值學(xué)習(xí)(xux)函數(shù)，通過(guò)神函數(shù)，通過(guò)神經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)經(jīng)元的輸入和誤差，以及權(quán)值和閾值的學(xué)習(xí)(xux)速速率，來(lái)計(jì)算權(quán)值或閾值的變化率。率，來(lái)計(jì)算權(quán)值或閾值的變化率。三、三、BP網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)(xux)函數(shù)函數(shù) dW,ls=learngd(W,P,Z,N,A,T,E,gW,gA,D