BP算法及其優(yōu)缺點

BP算法及其優(yōu)缺點－－誤差反傳〔ErrorBackPropagation〕算法的改進與BP網(wǎng)絡(luò)設(shè)計編輯課件基于BP算法的多層感知器的模型三層BP網(wǎng)絡(luò)輸入層隱層輸出層編輯課件模型的數(shù)學(xué)表達輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl)各個變量之間如何建立聯(lián)系，來描述整個網(wǎng)絡(luò)？編輯課件神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值乃至拓撲結(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對可變權(quán)值的動態(tài)調(diào)整學(xué)習(xí)規(guī)那么：權(quán)值調(diào)整規(guī)那么，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)那么。BP算法是一種學(xué)習(xí)規(guī)那么編輯課件BP算法的根本思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號的正向傳播誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號修正各單元權(quán)值編輯課件BP算法的學(xué)習(xí)過程正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：假設(shè)輸出層的實際輸出與期望的輸出〔教師信號〕不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止編輯課件建立權(quán)值變化量與誤差之間的關(guān)系輸出層與隱層之間的連接權(quán)值調(diào)整隱層和輸入層之間的連接權(quán)值調(diào)整j=0,1,2,…,m;k=1,2,…,l(3.4.9a)i=0,1,2,…,n;j=1,2,…,m(3.4.9b)式中負號表示梯度下降，常數(shù)η∈(0,1)表示比例系數(shù)，反映了訓(xùn)練速率?？梢钥闯鯞P算法屬于δ學(xué)習(xí)規(guī)那么類，這類算法常被稱為誤差的梯度下降(GradientDescent)算法。編輯課件BP算法的程序?qū)崿F(xiàn)(1)初始化；

(4)計算各層誤差信號；

(5)調(diào)整各層權(quán)值；

(6)檢查是否對所有樣本完成一次輪訓(xùn)；(7)檢查網(wǎng)絡(luò)總誤差是否到達精度要求。(2)輸入訓(xùn)練樣本對X

Xp、d

dp計算各層輸出；(3)計算網(wǎng)絡(luò)輸出誤差；編輯課件BP算法的程序?qū)崿F(xiàn)然后根據(jù)總誤差計算各層的誤差信號并調(diào)整權(quán)值。

另一種方法是在所有樣本輸入之后，計算網(wǎng)絡(luò)的總誤差：編輯課件BP網(wǎng)絡(luò)的主要功能(1)非線性映射能力

多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供BP網(wǎng)絡(luò)進行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。編輯課件多層前饋網(wǎng)的主要能力(2)泛化能力

當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3)容錯能力

輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。編輯課件誤差曲面與BP算法的局限性誤差函數(shù)的可調(diào)整參數(shù)的個數(shù)nw等于各層權(quán)值數(shù)加上閾值數(shù)，即：誤差E是nw+1維空間中一個形狀極為復(fù)雜的曲面，該曲面上的每個點的“高度〞對應(yīng)于一個誤差值，每個點的坐標(biāo)向量對應(yīng)著nw個權(quán)值，因此稱這樣的空間為誤差的權(quán)空間。編輯課件誤差曲面的分布－－BP算法的局限性曲面的分布特點--------算法的局限性(1)存在平坦區(qū)域--------誤差下降緩慢，影響收斂速度(2)存在多個極小點------易陷入局部最小點編輯課件曲面分布特點1：存在平坦區(qū)域平坦－－誤差的梯度變化小－－接近于零編輯課件存在平坦區(qū)域的原因分析接近于零的情況分析造成平坦區(qū)的原因：

各節(jié)點的凈輸入過大對應(yīng)著誤差的某個谷點平坦區(qū)編輯課件曲面分布特點2：存在多個極小點誤差梯度為零多數(shù)極小點都是局部極小，即使是全局極小往往也不是唯一的。單權(quán)值雙權(quán)值編輯課件曲面分布特點2：存在多個極小點BP算法－－－以誤差梯度下降為權(quán)值調(diào)整原那么誤差曲面的這一特點－－－使之無法區(qū)分極小點的性質(zhì)導(dǎo)致的結(jié)果：因而訓(xùn)練經(jīng)常陷入某個局部極小點而不能自拔，從而使訓(xùn)練無法收斂于給定誤差。編輯課件標(biāo)準(zhǔn)BP算法的改進－－引言誤差曲面的形狀－－固有的算法的作用是什么？調(diào)整權(quán)值，找到最優(yōu)點那么如何更好地調(diào)整權(quán)值？利用算法使得權(quán)值在更新的過程中，‘走’適宜的路徑，比方跳出平坦區(qū)來提高收斂速度，跳出局部最小點等等如何操作？需要在進入平坦區(qū)或局部最小點時進行一些判斷，通過改變某些參數(shù)來使得權(quán)值的調(diào)整更為合理。編輯課件標(biāo)準(zhǔn)的BP算法內(nèi)在的缺陷：⑴易形成局部極小而得不到全局最優(yōu)；⑵訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；⑶隱節(jié)點的選取缺乏理論指導(dǎo)；⑷訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。針對上述問題，國內(nèi)外已提出不少有效的改進算法，下面僅介紹其中3種較常用的方法。編輯課件3.5標(biāo)準(zhǔn)BP算法的改進改進1：增加動量項改進2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率改進3：引入陡度因子編輯課件改進1：增加動量項提出的原因：標(biāo)準(zhǔn)BP算法只按t時刻誤差的梯度降方向調(diào)整，而沒有考慮t時刻以前的梯度方向－－－從而常使訓(xùn)練過程發(fā)生振蕩，收斂緩慢。方法：α為動量系數(shù)，一般有α∈(0，1)編輯課件改進1：增加動量項實質(zhì)：從前一次權(quán)值調(diào)整量中取出一局部迭加到本次權(quán)值調(diào)整量中作用：動量項反映了以前積累的調(diào)整經(jīng)驗，對于t時刻的調(diào)整起阻尼作用。當(dāng)誤差曲面出現(xiàn)驟然起伏時，可減小振蕩趨勢，提高訓(xùn)練速度。編輯課件改進2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率提出的原因：標(biāo)準(zhǔn)BP算法中，學(xué)習(xí)率η也稱為步長，確定一個從始至終都適宜的最正確學(xué)習(xí)率很難。平坦區(qū)域內(nèi)，η太小會使訓(xùn)練次數(shù)增加；在誤差變化劇烈的區(qū)域，η太大會因調(diào)整量過大而跨過較窄的“坑凹〞處，使訓(xùn)練出現(xiàn)振蕩，反而使迭代次數(shù)增加。編輯課件改進2：自適應(yīng)調(diào)節(jié)學(xué)習(xí)率根本思想：自適應(yīng)改變學(xué)習(xí)率，使其根據(jù)環(huán)境變化增大或減小。根本方法：設(shè)一初始學(xué)習(xí)率，假設(shè)經(jīng)過一批次權(quán)值調(diào)整后使總誤差↑，那么本次調(diào)整無效，且=β(β<1)；假設(shè)經(jīng)過一批次權(quán)值調(diào)整后使總誤差↓，那么本次調(diào)整有效，且=θ(θ>1)。編輯課件改進3：引入陡度因子提出的原因：誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進入平坦區(qū)的原因是神經(jīng)元輸出進入了轉(zhuǎn)移函數(shù)的飽和區(qū)。根本思想：如果在調(diào)整進入平坦區(qū)后，設(shè)法壓縮神經(jīng)元的凈輸入，使其輸出退出轉(zhuǎn)移函數(shù)的不飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。編輯課件改進3：引入陡度因子根本方法：在原轉(zhuǎn)移函數(shù)中引入一個陡度因子λ當(dāng)發(fā)現(xiàn)ΔE接近零而d-o仍較大時，可判斷已進入平坦區(qū)，此時令λ>1；當(dāng)退出平坦區(qū)后，再令λ=1。編輯課件改進3：引入陡度因子作用分析：λ>1：net坐標(biāo)壓縮了λ倍，神經(jīng)元的轉(zhuǎn)移函數(shù)曲線的敏感區(qū)段變長，從而可使絕對值較大的net退出飽和值。λ=1：轉(zhuǎn)移函數(shù)恢復(fù)原狀，對絕對值較小的net具有較高的靈敏度。應(yīng)用結(jié)果說明該方法對于提高BP算法的收斂速度十分有效。編輯課件總結(jié)基于BP算法的多層前饋網(wǎng)絡(luò)模型BP算法的實現(xiàn)根本思想推導(dǎo)過程程序?qū)崿F(xiàn)BP學(xué)習(xí)算法的功能BP學(xué)習(xí)算法的局限性BP學(xué)習(xí)算法的改進編輯課件3.6BP網(wǎng)絡(luò)設(shè)計根底一、訓(xùn)練樣本集的準(zhǔn)備1.輸入輸出量的選擇2.輸入量的提取與表示3.輸出量的表示二、輸入輸出數(shù)據(jù)的歸一化三、網(wǎng)絡(luò)訓(xùn)練與測試編輯課件1輸出量的選擇

輸出量:代表系統(tǒng)要實現(xiàn)的功能目標(biāo)系統(tǒng)的性能指標(biāo)分類問題的類別歸屬非線性函數(shù)的函數(shù)值一、訓(xùn)練樣本集的準(zhǔn)備編輯課件輸入量的選擇輸入量選擇的兩條根本原那么必須選擇那些對輸出影響大且能夠檢測或提取的變量各輸入變量之間互不相關(guān)或相關(guān)性很小一、訓(xùn)練樣本集的準(zhǔn)備編輯課件輸入輸出量的性質(zhì)從輸入、輸出量的性質(zhì)來看，可分為兩類：一類是數(shù)值變量，一類是語言變量。數(shù)值變量的值是數(shù)值確定的連續(xù)量或離散量。語言變量是用自然語言表示的概念，其“語言值〞是用自然語言表示的事物的各種屬性。中選用語言變量作為網(wǎng)絡(luò)的輸入或輸出變量時，需將其語言值轉(zhuǎn)換為離散的數(shù)值量。一、訓(xùn)練樣本集的準(zhǔn)備編輯課件2.輸入量的提取與表示XC=(111100111)T

XI=(111100111)T

XT=(111100111)T(1)文字符號輸入一、訓(xùn)練樣本集的準(zhǔn)備編輯課件〔2〕曲線輸入p=1,2,…,P一、訓(xùn)練樣本集的準(zhǔn)備編輯課件(3)函數(shù)自變量輸入一般有幾個輸入量就設(shè)幾個分量，1個輸入分量對應(yīng)1個輸入層節(jié)點。(4)圖象輸入在這類應(yīng)用中，一般先根據(jù)識別的具體目的從圖象中提取一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對輸入的奉獻進行篩選，這種特征提取屬于圖象處理的范疇。一、訓(xùn)練樣本集的準(zhǔn)備編輯課件3.輸出量的表示(1)“n中取1〞表示法“n中取1〞是令輸出向量的分量數(shù)等于類別數(shù)，輸入樣本被判為哪一類，對應(yīng)的輸出分量取1，其余n-1個分量全取0。例如，用0001、0010、0100和1000可分別表示優(yōu)、良、中、差4個類別。(2)“n-1〞表示法如果用n-1個全為0的輸出向量表示某個類別，那么可以節(jié)省一個輸出節(jié)點。例如，用000、001、010和100也可表示優(yōu)、良、中、差4個類別。(3)數(shù)值表示法

對于漸進式的分類，可以將語言值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要注意保持由小到大的漸進關(guān)系，并要根據(jù)實際意義拉開距離。一、訓(xùn)練樣本集的準(zhǔn)備編輯課件二、輸入輸出數(shù)據(jù)的歸一化

歸一化也稱為或標(biāo)準(zhǔn)化，是指通過變換處理將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在[0，1]或[-1，1]區(qū)間內(nèi)。

進行歸一化的主要原因：歸一化的方法：編輯課件進行歸一化的主要原因：①網(wǎng)絡(luò)的各個輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，歸一化給各輸入分量以同等重要的地位；②BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對值過大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進入誤差曲面的平坦區(qū)；③Sigmoid轉(zhuǎn)移函數(shù)的輸出在0~1或-1~1之間。教師信號如不進行歸一化處理，勢必使數(shù)值大的輸出分量絕對誤差大，數(shù)值小的輸出分量絕對誤差小。二、輸入輸出數(shù)據(jù)的歸一化編輯課件歸一化的方法：將輸入輸出數(shù)據(jù)變換為[0，1]區(qū)間的值常用以下變換式其中，xI代表輸入或輸出數(shù)據(jù)，xmin代