數(shù)學建模BP神經(jīng)網(wǎng)絡(luò)論文參考模板

1、BP神經(jīng)網(wǎng)絡(luò)算法原理：輸入信號通過中間節(jié)點（隱層點）作用于輸出節(jié)點，經(jīng)過非線形變換，產(chǎn)生輸出信號，網(wǎng)絡(luò)訓練的每個樣本包括輸入向量和期望輸出量，網(wǎng)絡(luò)輸出值與期望輸出值之間的偏差，通過調(diào)整輸入節(jié)點與隱層節(jié)點的聯(lián)接強度取值和隱層節(jié)點與輸出節(jié)點之間的聯(lián)接強度以及閾值，使誤差沿梯度方向下降，經(jīng)過反復學習訓練，確定與最小誤差相對應(yīng)的網(wǎng)絡(luò)參數(shù)（權(quán)值和閾值），訓練即告停止。此時經(jīng)過訓練的神經(jīng)網(wǎng)絡(luò)即能對類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過非線形轉(zhuǎn)換的信息。變量定義：設(shè)輸入層有個神經(jīng)元，隱含層有個神經(jīng)元,輸出層有個神經(jīng)元輸入向量：隱含層輸入向量：隱含層輸出向量：輸出層輸入向量：輸出層輸出向量：期望輸出向

2、量: 輸入層與中間層的連接權(quán)值: 隱含層與輸出層的連接權(quán)值: 隱含層各神經(jīng)元的閾值: 輸出層各神經(jīng)元的閾值: 樣本數(shù)據(jù)個數(shù): 激活函數(shù): 誤差函數(shù)：1 / 10算法步驟：Step1.網(wǎng)絡(luò)初始化 。給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)的隨機數(shù)，設(shè)定誤差函數(shù)，給定計算精度值和最大學習次數(shù)M。Step2.隨機選取第個輸入樣本及對應(yīng)期望輸出 Step3.計算隱含層各神經(jīng)元的輸入和輸出及輸出層各神經(jīng)元的輸入和輸出Step4.利用網(wǎng)絡(luò)期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導數(shù)。Step5.利用隱含層到輸出層的連接權(quán)值、輸出層的和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導數(shù)。Step

3、6.利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來修正連接權(quán)值。Step7.利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。 Step8.計算全局誤差。Step9.判斷網(wǎng)絡(luò)誤差是否滿足要求。當誤差達到預設(shè)精度或?qū)W習次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個學習樣本及對應(yīng)的期望輸出，返回到第三步，進入下一輪學習。 算法流程圖： 輸入，根據(jù)網(wǎng)絡(luò)的狀態(tài)方程計算網(wǎng)絡(luò)輸出網(wǎng)絡(luò)初始化計算全局誤差：修改權(quán)值：訓練完成達到最大學習次數(shù)NONOYESYES參數(shù)確定：確定了網(wǎng)絡(luò)層數(shù)、每層節(jié)點數(shù)、傳遞函數(shù)、初始權(quán)系數(shù)、學習算法等也就確定了BP網(wǎng)絡(luò)。確定這些選項時有一定的指導原則，但更多的是靠經(jīng)驗和試湊

4、。 1. 樣本數(shù)據(jù)采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓練（學習）過程使之不發(fā)生“過擬合”和評價建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機分成訓練樣本、檢驗樣本（10%以上）和測試樣本（10%以上）3部分。2.輸入/輸出變量一般地，BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，一般根據(jù)專業(yè)知識確定。若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標或因變量），可以是一個，也可以是多個。一般將

5、一個具有多個輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個具有一個輸出的網(wǎng)絡(luò)模型效果會更好，訓練也更方便。3.數(shù)據(jù)的預處理由于BP神經(jīng)網(wǎng)絡(luò)的隱層一般采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，一般要求輸入數(shù)據(jù)的值在01之間。因此，要對輸入數(shù)據(jù)進行預處理。一般要求對不同變量分別進行預處理，也可以對類似性質(zhì)的變量進行統(tǒng)一的預處理。如果輸出層節(jié)點也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預處理，否則，輸出變量也可以不做預處理。但必須注意的是，預處理的數(shù)據(jù)訓練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進行反變換才能得到實際值。再者，為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預處理后

6、的值在0.20.8之間。標準化：4.隱層數(shù)一般認為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差，提高精度，但也使網(wǎng)絡(luò)復雜化，從而增加了網(wǎng)絡(luò)的訓練時間和出現(xiàn)“過擬合(overfitting)” 造成網(wǎng)絡(luò)的性能脆弱，泛化能力(generalization ability)下降。Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結(jié)論。在設(shè)計BP網(wǎng)絡(luò)時可參考這一點，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個隱層）。1x2x1Nx1y2y2Ny1z2z3Nz1D2D3ND1T2Tihwhjw-隱含層輸出層輸入層3N

7、T圖 三層BP網(wǎng)絡(luò)的拓撲結(jié)構(gòu)5.隱層節(jié)點數(shù)在BP 網(wǎng)絡(luò)中，若隱層節(jié)點數(shù)太少，網(wǎng)絡(luò)可能根本不能訓練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓練時間延長，另一方面，訓練容易陷入局部極小點而得不到最優(yōu)點，也是訓練時出現(xiàn)“過擬合”的內(nèi)在原因，但是目前理論上還沒有一種科學的和普遍的確定方法。為盡可能避免訓練時出現(xiàn)“過擬合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱層節(jié)點數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點數(shù)。因此，合理隱層節(jié)點數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復雜程度和誤差大小的情況下用節(jié)點刪除法和擴張法確定。6.傳遞函數(shù)圖BP網(wǎng)絡(luò)

8、常用的傳遞函數(shù)BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。Log-sigmoid型函數(shù)的輸入值可取任意值，輸出值在0和1之間；tan-sigmod型傳遞函數(shù)tansig的輸入值可取任意值，輸出值在-1到+1之間；線性傳遞函數(shù)purelin的輸入與輸出值可取任意值。BP網(wǎng)絡(luò)通常有一個或多個隱層，該層中的神經(jīng)元均采用sigmoid型傳遞函數(shù)，輸出層的神經(jīng)元則采用線性傳遞函數(shù)，整個網(wǎng)絡(luò)的輸出可以取任意值。7.學習率 學習率影響系統(tǒng)學習過程的穩(wěn)定性。大的學習率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，甚至會導致權(quán)值在修正過程中超出某個誤差的極小值呈不規(guī)則跳躍而不收斂；但過小的學習率導致學習時間過長，不過能保證收斂于某個極小值。

9、所以，一般傾向選取較小的學習率以保證學習過程的收斂性（穩(wěn)定性），通常在0.010.8之間。8.網(wǎng)絡(luò)的初始連接權(quán)值BP算法決定了誤差函數(shù)一般存在（很）多個局部極小點，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個局部極小點或是全局極小點。因此，要求計算程序必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，一般要求初始權(quán)值分布在-0.50.5之間比較有效。10收斂誤差界值Emin 在網(wǎng)絡(luò)訓練過程中應(yīng)根據(jù)實際情況預先確定誤差界值。誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學習精度來確定。當Emin 值選擇較小時，學習效果好，但收斂速度慢，訓練次數(shù)增加。如果Emin值取

10、得較大時則相反。網(wǎng)絡(luò)模型的性能和泛化能力：訓練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓練好的網(wǎng)絡(luò)模型對非訓練樣本具有好的泛化能力（推廣性），即有效逼近樣本蘊含的內(nèi)在規(guī)律，而不是看網(wǎng)絡(luò)模型對訓練樣本的擬合能力。判斷建立的模型是否已有效逼近樣本所蘊含的規(guī)律, 主要不是看測試樣本誤差大小的本身，而是要看測試樣本的誤差是否接近于訓練樣本和檢驗樣本的誤差。非訓練樣本誤差很接近訓練樣本誤差或比其小，一般可認為建立的網(wǎng)絡(luò)模型已有效逼近訓練樣本所蘊含的規(guī)律，否則，若相差很多（如幾倍、幾十倍甚至上千倍）就說明建立的網(wǎng)絡(luò)模型并沒有有效逼近訓練樣本所蘊含的規(guī)律，而只是在這些訓練樣本點上逼近而已，而建立的網(wǎng)絡(luò)模型是對訓練樣本

11、所蘊含規(guī)律的錯誤反映。算法的特點：1.非線性映照能力。神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。2.并行分布處理方式。在神經(jīng)網(wǎng)絡(luò)中信息是分布儲存和并行處理的，這使它具有很強的容錯性和很快的處理速度。3.自學習和自適應(yīng)能力。神經(jīng)網(wǎng)絡(luò)在訓練時，能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力，即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學習也可以在線進行。4.數(shù)據(jù)融合的能力。神經(jīng)網(wǎng)絡(luò)可以同時處理定量信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運算）和人工智能技術(shù)（符號處理）。5.多變量系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)

12、目是任意的，對單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式，不必考慮各子系統(tǒng)間的解耦問題算法的缺點：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點個數(shù)。算法的改進：1. 利用動量法改進BP算法標準BP算法實質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)方法，在修正時，只按照第步的負梯度方向進行修正，而沒有考慮到以前積累的經(jīng)驗，即以前時刻的梯度方向，從而常常使學習過程發(fā)生振蕩，收斂緩慢。動量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計算所得的權(quán)值調(diào)整量上，作為本次的實際權(quán)值調(diào)整量，即：其中：為動量系數(shù)，通常00.9；學習率，范圍在0.00110之間。這種方法所加的動量

13、因子實際上相當于阻尼項，它減小了學習過程中的振蕩趨勢，從而改善了收斂性。動量法降低了網(wǎng)絡(luò)對于誤差曲面局部細節(jié)的敏感性，有效的抑制了網(wǎng)絡(luò)陷入局部極小。2.自適應(yīng)調(diào)整學習速率標準BP算法收斂速度緩慢的一個重要原因是學習率選擇不當，學習率選得太小，收斂太慢；學習率選得太大，則有可能修正過頭，導致振蕩甚至發(fā)散?？刹捎孟聢D所示的自適應(yīng)方法調(diào)整學習率。調(diào)整的基本指導思想是：在學習收斂的情況下，增大，以縮短學習時間；當偏大致使不能收斂時，要及時減小，直到收斂為止。3. 動量-自適應(yīng)學習速率調(diào)整算法采用動量法時，BP算法可以找到更優(yōu)的解；采用自適應(yīng)學習速率法時，BP算法可以縮短訓練時間。將以上兩種方法結(jié)合起來，就得到動量-自適應(yīng)學習速率調(diào)整算法。4.