BP神經(jīng)網(wǎng)絡(luò)分類(lèi)

1、利用BP神經(jīng)網(wǎng)絡(luò)解決分類(lèi)問(wèn)題1.1 BP網(wǎng)絡(luò)介紹1.2 BP網(wǎng)絡(luò)模型1.3 學(xué)習(xí)規(guī)劃1.4 網(wǎng)絡(luò)程序設(shè)計(jì) 人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）系統(tǒng)是 20 世紀(jì) 40 年代后出現(xiàn)的。它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信息存儲(chǔ)、良好的自組織自學(xué)習(xí)能力等特點(diǎn)。 BP（Back Propagation）算法又稱(chēng)為誤差反向傳播算法，是人工神經(jīng)網(wǎng)絡(luò)中的一種監(jiān)督式的學(xué)習(xí)算法。 BP神經(jīng)網(wǎng)絡(luò)算法基本的結(jié)構(gòu)由非線性變化單元組成，具有很強(qiáng)的非線性映射能力。而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性

2、很大，在優(yōu)化、信號(hào)處理與模式識(shí)別、智能控制、故障診斷等許多領(lǐng)域都有著廣泛的應(yīng)用前景。1.1BP神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)介紹 在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，BP網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識(shí)別/分類(lèi)、數(shù)據(jù)壓縮等，80%90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)或它的變化形式。 BP網(wǎng)絡(luò)也是前饋型神經(jīng)網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。 主要思想是從后向前（反向）逐層傳播輸出層的誤差，以間接計(jì)算出隱層誤差。故稱(chēng)為誤差反向傳播算法1.1BP神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)介紹BP算法分為兩個(gè)部分：第一部分（正向傳播過(guò)程）輸入信息從輸入層經(jīng)隱層逐層計(jì)算各單元的輸出值第二部分（反向傳播過(guò)程）輸出誤差逐層向前計(jì)算出

3、隱層各單元的誤差，并用此誤差修正前層權(quán)值，最終使誤差減小到可接受的范圍。具體步驟如下：1.1BP神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)介紹1.從訓(xùn)練集中取出某一樣本，把信息輸入網(wǎng)絡(luò)中。2.通過(guò)各節(jié)點(diǎn)間的連接情況正向逐層處理后，得到神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出。3.計(jì)算網(wǎng)絡(luò)實(shí)際輸出與期望輸出的誤差。4.將誤差逐層反向回傳至之前各層，并按一定原則將誤差信號(hào)加載到連接權(quán)值上，使整個(gè)神經(jīng)網(wǎng)絡(luò)的連接權(quán)值向誤差減小的方向轉(zhuǎn)化。5、對(duì)訓(xùn)練集中每一個(gè)輸入輸出樣本對(duì)重復(fù)以上步驟，直到整個(gè)訓(xùn)練樣本集的誤差減小到符合要求為止。1.1BP神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)介紹 BP網(wǎng)絡(luò)一般為多層神經(jīng)網(wǎng)絡(luò)，由BP神經(jīng)元構(gòu)成的二層網(wǎng)絡(luò)（如下圖所示：兩層BP神經(jīng)網(wǎng)

4、絡(luò)模型），BP網(wǎng)絡(luò)的信息從輸入層流向輸出層，因此是一種多層前饋神經(jīng)網(wǎng)絡(luò)。 一個(gè)具有輸入和隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)（圖1）1.2BP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型1.BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與其他的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。2.BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù)0，1或符號(hào)函數(shù)1，13.BP網(wǎng)絡(luò)經(jīng)常使用的是S型傳輸函數(shù)（如logsig函數(shù)），其輸出值將會(huì)限制在較小的范圍（0,1）內(nèi)，線性傳輸函數(shù)則可以取任意值1.2BP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型對(duì)于圖1的BP神經(jīng)網(wǎng)絡(luò)，設(shè)K為迭代次數(shù)，則每層權(quán)值和閾值的修正按下式進(jìn)行：式中，x（K）為

5、第K次迭代各層之間的鏈接權(quán)向量或閾向量；g（k）=E(K)/x(k)為第K次迭代的神經(jīng)網(wǎng)絡(luò)輸出誤差對(duì)各權(quán)值或閾值的梯度向量；負(fù)號(hào)表示梯度的反方向，即梯度的最速下降方向；a（k）為學(xué)習(xí)效率，一般為常數(shù);E(K)為第K次迭代的網(wǎng)絡(luò)輸出的總誤差性能函數(shù)，BP網(wǎng)絡(luò)誤差性能函數(shù)的默認(rèn)值為均方誤差。1.3學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則1kkkkxxa g當(dāng)一個(gè)樣本（設(shè)第P個(gè)樣本）輸入網(wǎng)絡(luò)，并產(chǎn)生輸出時(shí)，均方誤差應(yīng)為各輸出單元誤差平方之和，即當(dāng)所有樣本都輸入一次后，總誤差為 1.3學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則假設(shè)輸入為P，輸入神經(jīng)元有r個(gè)，隱含層內(nèi)有s1個(gè)神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個(gè)神經(jīng)元，對(duì)應(yīng)的激活函數(shù)為F2，輸出為A

6、，目標(biāo)矢量為T(mén)1.3學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則信息的正向傳遞 隱含層中第i個(gè)神經(jīng)元的輸出 輸出層第k個(gè)神經(jīng)元的輸出 (1.3.1) 定義誤差函數(shù) (1.3.2) 1.3學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則111(11 ),1,2, 1riijjijafwpbis1212(212 ),1,2, 2skkiikiafwabks2211( , )22skkkE w Bta算法的下一階是反向傳播的敏感性值，在開(kāi)始反向傳播前需要先求傳輸函數(shù)的導(dǎo)數(shù)對(duì)于f1為對(duì)數(shù)S型激活函數(shù)：1.3學(xué)習(xí)規(guī)劃學(xué)習(xí)規(guī)劃 111nfne 1220111nnnneefnee 111( )fnf n對(duì)于f2為線性激活函數(shù)：根據(jù)式：（1.3.1）或（1.3.2）和

7、各層的傳輸函數(shù)，可求出第K次迭代的誤差曲面的梯度g（k）=E(K)/x(k),代入x（k+1）=x(k)-g(k),便可逐次修正其權(quán)值和閾值，并使總的誤差減小的方向變化，直到所要求的誤差性能為止。1.3學(xué)習(xí)規(guī)劃學(xué)習(xí)規(guī)劃 21fnn蠓蟲(chóng)分類(lèi)問(wèn)題可概括敘述如下：生物學(xué)家試圖對(duì)兩種蠓蟲(chóng)（Af與Apf）進(jìn)行鑒別，依據(jù)的資料是觸角和翅膀的長(zhǎng)度，已經(jīng)測(cè)得了9 支Af和6 支Apf 的數(shù)據(jù)如下： Af: (1.24,1.27)，(1.36,1.74) ，(1.38,1.64) ，(1.38,1.82) ，(1.38,1.90) ，(1.40,1.70) ，(1.48,1.82) ，(1.54,1.82) ，

8、(1.56,2.08). Apf: (1.14,1.82)，(1.18,1.96) ，(1.20,1.86) ，(1.26,2.00) ，(1.28,2.00) ，(1.30,1.96).1.4網(wǎng)絡(luò)程序設(shè)計(jì)網(wǎng)絡(luò)程序設(shè)計(jì)現(xiàn)在的問(wèn)題是： 1.根據(jù)如上資料，如何制定一種方法，正確地區(qū)分兩類(lèi)蠓蟲(chóng)。 2.對(duì)觸角和翼長(zhǎng)分別為(1.24,1.80) ，(1.28,1.84) ，(1.40,2.04) 的3 個(gè)標(biāo)本，用所得到的方法加以識(shí)別。 3.設(shè)Af是寶貴的傳粉益蟲(chóng)，Apf 是某疾病的載體，是否應(yīng)該修改分類(lèi)方法。 1.4程序設(shè)計(jì)程序設(shè)計(jì) clear p1=1.24,1.27;1.36,1.74;1.38,1

9、.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08; %9行2列的數(shù)據(jù)，代表9只Af的觸角和翼長(zhǎng) p2=1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00 ;28,2.00;1.30,1.96; %6行2列的數(shù)據(jù)代表6只APf的觸角和翼長(zhǎng) p=p1;p2; %p1和p2分別作為數(shù)據(jù)p的兩個(gè)行 pr=minmax(p); %取出每行的最大值和最小值 goal=ones(1,9),zeros(1,6);zeros(1,9),ones(1,6);%產(chǎn)生一個(gè)兩行15列的數(shù)據(jù)%對(duì)應(yīng)數(shù)據(jù)p的期望輸出，

10、第一行現(xiàn)有9個(gè)1，再有6個(gè)0； %第二行現(xiàn)有9個(gè)0，再有6個(gè)1.10兩位數(shù)出表示9只Af，01輸出表示6個(gè)APf plot(p1(:,1),p1(:,2),h,p2(:,1),p2(:,2),o) %p1（：，1）讓行標(biāo)變起來(lái)、列標(biāo)是1，%即取出p1的第一列1.4程序設(shè)計(jì)程序設(shè)計(jì)net=newff(pr,3,2,logsig,logsig); %隱層3個(gè)神經(jīng)元，輸出2個(gè)神經(jīng)元,這兩層的傳遞函數(shù)都用對(duì)數(shù)s型函數(shù)net.trainParam.show = 10;%網(wǎng)絡(luò)訓(xùn)練10次顯示一次結(jié)果 net.trainParam.lr = 0.05; %設(shè)置學(xué)習(xí)效率net.trainParam.goal =

11、 1e-10; %誤差設(shè)置net.trainParam.epochs = 50000; %規(guī)定訓(xùn)練次數(shù)net = train(net,p,goal); %根據(jù)網(wǎng)絡(luò)的輸入和期望輸出訓(xùn)練網(wǎng)絡(luò)x=1.24 1.80;1.28 1.84;1.40 2.04; %測(cè)試數(shù)據(jù)xy0=sim(net,p) %訓(xùn)練完的網(wǎng)絡(luò)，再次輸入原始數(shù)據(jù)p,看看網(wǎng)絡(luò)此時(shí)的實(shí)際輸出y0是否與期望輸出一模一樣，結(jié)果確實(shí)如此。y=sim(net,x)%將測(cè)試數(shù)據(jù)輸入網(wǎng)絡(luò)，查看其測(cè)試輸出，從而將x代表的三只蟲(chóng)子進(jìn)行分類(lèi)1.4程序設(shè)計(jì)程序設(shè)計(jì)仿真輸出結(jié)果：1.4程序設(shè)計(jì)程序設(shè)計(jì)可以看到網(wǎng)絡(luò)具有非常好的學(xué)習(xí)性能，網(wǎng)絡(luò)輸出與目標(biāo)輸出的誤差

12、已經(jīng)達(dá)到了預(yù)先的要求。1.4程序設(shè)計(jì)程序設(shè)計(jì)1.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的理論和方法 魏海坤編著 國(guó)防工業(yè)出版社2.MATLAB神經(jīng)網(wǎng)絡(luò)仿真與應(yīng)用 聞新等編著 科學(xué)出版社3神經(jīng)網(wǎng)絡(luò)導(dǎo)論 王曉梅編著 科學(xué)出版社4.人工神經(jīng)網(wǎng)絡(luò)技術(shù)及其應(yīng)用 王洪元等編著 中國(guó)石化出版社參考文獻(xiàn) BP網(wǎng)絡(luò)一般為多層神經(jīng)網(wǎng)絡(luò)，由BP神經(jīng)元構(gòu)成的二層網(wǎng)絡(luò)（如下圖所示：兩層BP神經(jīng)網(wǎng)絡(luò)模型），BP網(wǎng)絡(luò)的信息從輸入層流向輸出層，因此是一種多層前饋神經(jīng)網(wǎng)絡(luò)。 一個(gè)具有輸入和隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)（圖1）1.2BP神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)模型假設(shè)輸入為P，輸入神經(jīng)元有r個(gè)，隱含層內(nèi)有s1個(gè)神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個(gè)神經(jīng)元，

13、對(duì)應(yīng)的激活函數(shù)為F2，輸出為A，目標(biāo)矢量為T(mén)1.3學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則算法的下一階是反向傳播的敏感性值，在開(kāi)始反向傳播前需要先求傳輸函數(shù)的導(dǎo)數(shù)對(duì)于f1為對(duì)數(shù)S型激活函數(shù)：1.3學(xué)習(xí)規(guī)劃學(xué)習(xí)規(guī)劃 111nfne 1220111nnnneefnee 111( )fnf n現(xiàn)在的問(wèn)題是： 1.根據(jù)如上資料，如何制定一種方法，正確地區(qū)分兩類(lèi)蠓蟲(chóng)。 2.對(duì)觸角和翼長(zhǎng)分別為(1.24,1.80) ，(1.28,1.84) ，(1.40,2.04) 的3 個(gè)標(biāo)本，用所得到的方法加以識(shí)別。 3.設(shè)Af是寶貴的傳粉益蟲(chóng)，Apf 是某疾病的載體，是否應(yīng)該修改分類(lèi)方法。 1.4程序設(shè)計(jì)程序設(shè)計(jì) clear p1=1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08; %9行2列的數(shù)據(jù)，代表9只Af的觸角和翼長(zhǎng) p2=1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00 ;28,2.00;1.30,1.96; %6行2列的數(shù)據(jù)代表6只APf的觸角和翼長(zhǎng) p=p1;p2; %p1和p2分別作為數(shù)據(jù)p的兩個(gè)行 pr=minmax(p); %取出每行的最大值和最小值 goal=ones(1,9),zeros(1,6);zeros(1,9),ones(1