第10章神經(jīng)網(wǎng)絡(luò)控制及其應(yīng)用課件

1.神經(jīng)網(wǎng)絡(luò)控制產(chǎn)生的背景

自動控制面臨著兩個方面的技術(shù)問題（1）控制對象越來越復(fù)雜，存在著多種不確定（隨機(jī)性）和難以確切描述的非線性。（2）對控制系統(tǒng)的要求越來越高，迫切要求提高控制系統(tǒng)的智能化水平，即系統(tǒng)具有邏輯思維和推理判斷的能力。

神經(jīng)網(wǎng)絡(luò)為處理和解決上述問題提供了一條新的途徑

（1）神經(jīng)網(wǎng)絡(luò)源于對腦神經(jīng)的模擬，所以具有很強(qiáng)的適應(yīng)于復(fù)雜環(huán)境和多目標(biāo)控制要求的自學(xué)習(xí)能力。（2）具有以任意精度逼近任意非線性連續(xù)函數(shù)的特性。

2.神經(jīng)網(wǎng)絡(luò)的應(yīng)用航空:高性能飛行器自動駕駛、飛行路徑模擬、飛行部件模擬、飛行部件故障檢測…汽車:汽車自動導(dǎo)航儀…

國防:武器操縱、目標(biāo)跟蹤、面部識別、雷達(dá)和圖像信號處理、新型傳感器、聲納…

制造：生產(chǎn)流程控制、過程和機(jī)器診斷、機(jī)器性能分析、化工流程動態(tài)建模、項目投標(biāo)…

機(jī)器人：軌道控制、操作手控制、視覺系統(tǒng)…

語音：語音識別、語音壓縮…

還有金融、保險、銀行、醫(yī)療、交通、電訊、電子、石油天然氣、有價證券、娛樂等行業(yè)。3.生物學(xué)的啟示

4.人工神經(jīng)元

輸入

輸出

j=1,2…mi=1,2…nyjQjXnX2f∑X1圖2單神經(jīng)元結(jié)構(gòu)圖

軸突細(xì)胞體樹突樹突軸突突觸細(xì)胞體樹突圖1生物神經(jīng)元的簡圖

(發(fā)射)(接收)(連接)為簡便起見，也可把網(wǎng)絡(luò)的閾值以連接數(shù)值的形式表示出來，即令，則

式中

—為其它神經(jīng)元傳至本神經(jīng)元的輸入信號，

—神經(jīng)元j的閾值，此閾值決定了該神經(jīng)元的興奮與否；

—表示從神經(jīng)元i到神經(jīng)元j的連接權(quán)值；

—稱為激勵函數(shù)（也有稱為響應(yīng)函數(shù)或傳輸函數(shù)）。權(quán)值表示相鄰的神經(jīng)元相互連接的程度閾值即決定神經(jīng)元的興奮與否，決定興奮與抑制激勵函數(shù)可為線性函數(shù)也可為非線性函數(shù)。它是用來實現(xiàn)輸入對輸出函數(shù)關(guān)系的靜態(tài)映射，它決定了神經(jīng)元的單元特性。

常用的神經(jīng)元非線性函數(shù)x10f(x)圖3階躍函數(shù)f(x)x1-1圖4sgn函數(shù)

1β=1f(x)0xβ=0.2β=5圖5S狀函數(shù)（1）階躍函數(shù)

（2）Sgn函數(shù)

（3）S狀函數(shù)

5.神經(jīng)網(wǎng)絡(luò)模型的組成

5.1．神經(jīng)網(wǎng)絡(luò)連接的結(jié)構(gòu)形式

輸出層輸入層隱含層神經(jīng)元yny2y1XnX2X1圖6前向網(wǎng)絡(luò)

神經(jīng)元網(wǎng)絡(luò)中神經(jīng)元是分層排列，每個神經(jīng)元只與前一層的神經(jīng)元相連接，分為輸入層，隱含層（一層或多層）和輸出層。

（1）前向網(wǎng)絡(luò)（2）反饋前向網(wǎng)絡(luò)

網(wǎng)絡(luò)本身是前向型，但從輸出到輸入有反饋。

yny2y1XnX2X1圖7反饋前向網(wǎng)絡(luò)

圖8互連網(wǎng)絡(luò)

（3）互連網(wǎng)絡(luò)

任意兩個神經(jīng)元之間都可能有連接，因此輸入信號要在神經(jīng)元之間反復(fù)往返傳遞。

5.2．BP網(wǎng)絡(luò)的結(jié)構(gòu)

BP網(wǎng)絡(luò)是一單向傳播的多層前向網(wǎng)絡(luò)，其結(jié)構(gòu)圖如圖6所示BP網(wǎng)絡(luò)可看成是一從輸入到輸出的高度非線性映射網(wǎng)絡(luò)。

（1）輸入層神經(jīng)元數(shù)

（2）隱含層神經(jīng)元數(shù)

（3）隱含層數(shù)的確定

（4）輸出層神經(jīng)元數(shù)的確定

BP網(wǎng)絡(luò)各層的神經(jīng)元數(shù)（即節(jié)點數(shù)）及隱含層層數(shù)的確定如下：

6.神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

當(dāng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)確定之后，關(guān)鍵問題是設(shè)計一個學(xué)習(xí)速度快，收斂性好的學(xué)習(xí)算法。

要求網(wǎng)絡(luò)本身必須具有學(xué)習(xí)功能，即能夠從示教模式的學(xué)習(xí)中逐漸調(diào)整權(quán)值和閾值，使網(wǎng)絡(luò)整體具有近似函數(shù)或處理信息的功能。

（1）有教師學(xué)習(xí)

（2）無教師學(xué)習(xí)

6.1．網(wǎng)絡(luò)學(xué)習(xí)方式廣泛應(yīng)用的有教師學(xué)習(xí)的算法——BP（BackPropagation）算法

BP算法即是誤差反向傳播算法，該方法已成為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中最常用的方法之一。BP算法一般是應(yīng)用梯度下降原理，樣本輸入信號在神經(jīng)網(wǎng)絡(luò)中正向傳播，應(yīng)用了多層前向神經(jīng)網(wǎng)絡(luò)具有的以任意精度逼近非線性函數(shù)的能力。而網(wǎng)絡(luò)輸出與樣本給定輸出值之差（誤差）在網(wǎng)絡(luò)中是反向傳播，用于網(wǎng)絡(luò)的權(quán)值的訓(xùn)練。

輸出層LC隱含層LB輸入層LAWpqWiqWijW1qW1jVnpVniVn1VhpVhiVh1V1pV1iW11V11a1ahanb1bibpc1cjcq圖9基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

5.2．網(wǎng)絡(luò)的計算

對BP控制網(wǎng)絡(luò)進(jìn)行訓(xùn)練時，首先要提供訓(xùn)練樣本，樣本可以形式化為樣本對或稱模式對

()其中Ak為第k個樣本的輸入模式

()

Ck為希望輸出模式

()它們分別對應(yīng)于LA層的n個神經(jīng)元和Lc層的q個神經(jīng)元。

當(dāng)網(wǎng)絡(luò)的實際輸出與希望輸出一致時，學(xué)習(xí)過程結(jié)束。否則學(xué)習(xí)系統(tǒng)將根據(jù)實際輸出和希望輸出之間的誤差，通過調(diào)整連接權(quán)值使網(wǎng)絡(luò)的實際輸出趨向于希望輸出。BP網(wǎng)絡(luò)樣本輸入學(xué)習(xí)算法程序框圖如圖10所示。并以圖11三層（LA，LB，LC）BP神經(jīng)網(wǎng)絡(luò)為例進(jìn)行學(xué)習(xí)過程的演示。

結(jié)束輸入學(xué)習(xí)樣本求隱含層、輸出層神經(jīng)元的輸出計算實際輸出值與目標(biāo)值的誤差誤差滿足要求？反向計算調(diào)整權(quán)值和閾值YN初始化

三層BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

W11V11b1W12W32W31W22W21V23V22V21V13V12U2=1U1=1a1a2b2b3c1c200圖11三層BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

BP三層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法各種參數(shù)及計算公式見表1。

層名12345678910符號及公式參數(shù)名神經(jīng)元數(shù)初始權(quán)值矩陣初始閾值矩陣第k個樣本對值輸入值輸出值誤差學(xué)習(xí)率閾值調(diào)整權(quán)值調(diào)整輸入層隱含層輸出層學(xué)習(xí)訓(xùn)練步驟如下：

第1步：網(wǎng)絡(luò)初始化

輸入層LA的權(quán)值U=1,閾值=0

輸入層LA到隱含層LB的權(quán)值矩陣為

隱含層LB到輸出層LC權(quán)值矩陣為

隱含層LB各神經(jīng)元閾值為

輸出層LC-各神經(jīng)元閾值為以一個樣本對即k=1為例，樣本輸入，樣本輸出。

圖12三層BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)第2步：樣本正向輸入，進(jìn)行前向計算

輸入樣本為,其輸入層的輸出為a1和a2。對于輸入層，給定每個神經(jīng)元的權(quán)值為1，閾值為0，其激勵函數(shù)為S型函數(shù)，則第1個神經(jīng)元的輸出值為

則

層神經(jīng)元的加權(quán)輸入，根據(jù)為

層的實際輸出值，根據(jù)式和式計算，則根據(jù)式求激勵函數(shù)為S型情況下的b值為

則

根據(jù)式計算第k=1樣本對LC層神經(jīng)元的加權(quán)輸入為

根據(jù)式求LC層神經(jīng)元的實際輸出值

則

第3步：進(jìn)行誤差計算根據(jù)式和樣本期量值進(jìn)行輸出層LC誤差計算

則

通過給定的精度系數(shù)可判斷輸出層LC的誤差值d是否滿足要求，如果不滿足，則需進(jìn)行反向傳播計算，通過修正權(quán)值和閾值使其逼近給定精度系數(shù)。

第4步：反向傳播計算（1）隱含層LB一般化誤差的計算根據(jù)式計算隱含層LB一般化誤差為

則

（2）隱含層Lb和輸出層Lc權(quán)值的調(diào)整

根據(jù)式調(diào)整其LB至LC權(quán)值，則按學(xué)習(xí)步長（也稱學(xué)習(xí)率）的范圍：給定。

則

(3)根據(jù)式調(diào)整LA至LB權(quán)值,則

按步長范圍：,給定

則

（4）網(wǎng)絡(luò)輸出層Lc和隱含層Lb閾值的調(diào)整值計算根據(jù)式調(diào)整Lc層閾值

則

(5)根據(jù)式調(diào)整LB層閾值為

則

（6）計算調(diào)整后的權(quán)值和閾值隱含層LB至輸出層LC的權(quán)值，得

輸入層LA至隱含層LB的權(quán)值，由式得輸出層LC閾值根據(jù)式得

隱含層LB閾值，根據(jù)式得

經(jīng)過上述計算在輸出層LC的誤差值d未滿足精度要求的情況下，完成了第1次權(quán)值和閾值的調(diào)整訓(xùn)練。經(jīng)反向計算調(diào)整后需按程序框圖12的流程和上述計算方法再計算輸出層LC誤差值d，其運(yùn)算過程不再全部列出，只是直接給出將調(diào)整后LB層和LC層的輸出值和誤差值。

LB層的輸出值

LB層的誤差值

LC層的輸出值

LC層的誤差值

在此根據(jù)LC層的誤差值d判斷是否滿足給定的精度系數(shù)，如果不滿足再進(jìn)行第2次的循環(huán)調(diào)整，再從第2步開始運(yùn)行，以后為了簡化只給出調(diào)整結(jié)果。

·第2次循環(huán)調(diào)整

LC層至LB層的權(quán)值調(diào)整

LB層至LA層的權(quán)值調(diào)整

LC層閾值的調(diào)整

LB層閾值的調(diào)整

LB層的輸出值

LB層的誤差值

Lc層的輸出值Lc層的誤差值

第3次循環(huán)調(diào)整

LC層至LB層的權(quán)值調(diào)整

LB層至LA層的權(quán)值調(diào)整

LC層閾值的調(diào)整

LB層閾值的調(diào)整

LB層的輸出值

LB層的誤差值

LC層的輸出值

LC層的誤差值

第999次循環(huán)調(diào)整

LC層至LB層的權(quán)值調(diào)整

LB層至LA層的權(quán)值調(diào)整

LC層的閾值為

LB層的閾值為

LB層的輸出值

LB層的誤差值

LC層的輸出值

LC層的誤差值

BP神經(jīng)網(wǎng)絡(luò)樣本輸入信號正向傳播和誤差反向傳播的過程，就是在不斷地調(diào)整權(quán)值和閾值的過程，可以使網(wǎng)絡(luò)以任意精度逼近任意非線性函數(shù)，也就是隨著循環(huán)調(diào)整次數(shù)的增加，其輸出層的誤差值d在不斷地減小，直至趨近于零，這是總的趨勢，但不排除在訓(xùn)練過程中出現(xiàn)d值增大的現(xiàn)象，特別是前些次調(diào)整，本例的最初幾次調(diào)整,d值可能有所增大。產(chǎn)生這種現(xiàn)象的原因是網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過程中出現(xiàn)振蕩現(xiàn)象。這與學(xué)習(xí)率和的取值有關(guān)，和的值取的過大就會出現(xiàn)振蕩現(xiàn)象。

電火花線切割加工是用直徑為0.02--0.3mm不斷移動的銅絲或鎢絲等作為電極，根據(jù)被加工工件的形狀要求，編制數(shù)字程序控制工作臺的運(yùn)動，對安裝在工作臺上的工件實現(xiàn)電火花線切割加工。對于在線切割機(jī)床上加工工件，經(jīng)常被人們關(guān)注的影響表面質(zhì)量和生產(chǎn)率的主要技術(shù)指標(biāo)是：被加工工件的表面粗糙度Ra（μm）和在一定厚度下的表面切割速度（mm2/min）。而影響這兩項指標(biāo)的加工工藝參數(shù)分別是工件厚度、脈沖電流的脈寬、脈間、幅值及平均加工電流。而這5項工藝參數(shù)均以不同的程度、錯綜復(fù)雜地影響著這兩項技術(shù)指標(biāo)，而且難以用數(shù)學(xué)模型進(jìn)行綜合性表達(dá)。但從生產(chǎn)需要出發(fā)，還必須了解并掌握它們之間的影響規(guī)律，故采用神經(jīng)網(wǎng)絡(luò)的技術(shù)手段通過以下步驟來實現(xiàn)這一目的?，F(xiàn)以BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法實現(xiàn)對線切割加工質(zhì)量及效率的控制。

6基于BP神經(jīng)網(wǎng)絡(luò)的線切割加工質(zhì)量及效率控制10.6.1線切割加工BP神經(jīng)網(wǎng)絡(luò)的設(shè)計

1.BP網(wǎng)絡(luò)的結(jié)構(gòu)確定

BP網(wǎng)絡(luò)為前向網(wǎng)絡(luò)結(jié)構(gòu)，各層的神經(jīng)元數(shù)和隱含層數(shù)的確定是要根據(jù)所研究對象和內(nèi)容來確定。

（1）輸入層神經(jīng)元數(shù)（節(jié)點數(shù)）的確定

輸入層神經(jīng)元數(shù)的確定是根據(jù)線切割加工時輸入的工件厚度、脈沖電流的脈寬、脈間、脈沖峰值電流和平均加工電流等5項工藝參數(shù)來確定的，故輸入層節(jié)點數(shù)為5。

（2）隱含層神經(jīng)元數(shù)及層數(shù)的確定

①隱含層神經(jīng)元數(shù)的確定

隱含層目前還沒有一個很好的計算方法，而是要根據(jù)經(jīng)驗來定，數(shù)目太少，網(wǎng)絡(luò)擬合誤差曲線的能力差。如果數(shù)目太多，網(wǎng)絡(luò)會出現(xiàn)過擬合現(xiàn)象，即擬合精度很高，但對樣本的均方差(均方差的計算方法與表10.1誤差的計算方法不同)此處并不反而增大。此例分別選定神經(jīng)元數(shù)為13和18進(jìn)行對比實驗，最終選擇較為合適的一種。

②隱含層層數(shù)的確定

隱含層層數(shù)的確定也沒有一個很好的計算方法，和隱含層神經(jīng)元數(shù)一樣，可以利用經(jīng)驗或是試錯法，先設(shè)置一層隱含層，計算其輸出層均方差，逐漸增加層數(shù)，如果出現(xiàn)變壞，則停止，選擇出現(xiàn)均方差最小時的層數(shù)。此例選定一層和二層隱含層進(jìn)行對比實驗，最終選擇較為合適的一種。

（3）輸出層神經(jīng)元數(shù)的確定

輸出層神經(jīng)元數(shù)的確定根據(jù)實際需要，在線切割機(jī)上主要是兩項技術(shù)指標(biāo)，一是加工零件的表面粗糙度，另一項就是表面切割速度。

線切割加工質(zhì)量及效率控制BP神經(jīng)網(wǎng)絡(luò)三層和四層拓?fù)浣Y(jié)構(gòu)分別如圖13和圖14所示。

基于BP神經(jīng)網(wǎng)絡(luò)線切割加工質(zhì)量及效率控制

工件厚度脈沖電流脈寬切割速度脈沖電流脈間表面粗糙度脈沖電流幅值平均電流圖13線切割加工質(zhì)量及效率控制神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

圖14BP神經(jīng)網(wǎng)絡(luò)四層拓?fù)浣Y(jié)構(gòu)圖

3.學(xué)習(xí)（訓(xùn)練）樣本的確定及激勵函數(shù)的選擇學(xué)習(xí)樣本的個數(shù)為25個，樣本各項輸入數(shù)據(jù)（）、輸出數(shù)據(jù)（c1,c2），和希望值以及最后達(dá)到的期望誤差（反映網(wǎng)絡(luò)收斂誤差的大小，在此即為均方差）等的確定見表14.2。

2.網(wǎng)絡(luò)的初始化

在BP神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練中，所有神經(jīng)元之間的連接初始權(quán)值、和以及各層神經(jīng)元的初始閾值可分別選擇變化區(qū)間為[-1,1]或[0,1]的隨機(jī)值。并在網(wǎng)絡(luò)訓(xùn)練中進(jìn)行比較，觀察其不同，最終選取較為合適的變化區(qū)間。在此選擇S狀函數(shù)，即Sigmoid函數(shù)作為激勵函數(shù)。4.樣本的正向輸入及反向傳播計算

樣本輸入之后，按所編制的計算機(jī)程序，進(jìn)行前向輸入層、隱含層和輸出層輸出值的計算以及誤差值和反向計算等。其最終的結(jié)果見表14.4。線切割加工質(zhì)量及效率控制BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練1.神經(jīng)網(wǎng)絡(luò)預(yù)測程序的編寫用MATLAB軟件編寫神經(jīng)網(wǎng)絡(luò)預(yù)測程序，預(yù)測程序包括：輸入的歸一化和輸出的反歸一化、函數(shù)的調(diào)用、網(wǎng)絡(luò)初始化參數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的確定等。2.采用不同網(wǎng)絡(luò)訓(xùn)練方案BP神經(jīng)網(wǎng)絡(luò)采用不同訓(xùn)練方案其結(jié)果如表14.2所示。

通過不同訓(xùn)練方案見表14.3：由方案1和方案2可見，初始權(quán)值和閾值的取值范圍為[-1~1]比取值范圍為[0~1]時收斂次數(shù)少(收斂次數(shù)定義為：當(dāng)均方差小于給定的期望誤差時，程序停止運(yùn)行，此時的疊代次數(shù)為收斂次數(shù))，而收斂速度快；由方案1和方案3可見，隱含層神經(jīng)元數(shù)為13時比神經(jīng)元數(shù)為18時的收斂次數(shù)少，收斂速度更快；由方案1和方案4可見，神經(jīng)元數(shù)相同，隱含層為二層的收斂速度比隱含層為一層的收斂次數(shù)少，收斂速度快。

當(dāng)采用不同網(wǎng)絡(luò)訓(xùn)練方案時，其訓(xùn)練次數(shù)為78次時，均方差與收斂后的均方差的對比見