神經(jīng)網(wǎng)絡(luò)B網(wǎng)絡(luò)數(shù)學(xué)建模

人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

第4講 BP神經(jīng)網(wǎng)絡(luò)何建華電信系，華中科技大學(xué)

2003年2月28日1一、內(nèi)容回顧二、BP網(wǎng)絡(luò)三、網(wǎng)絡(luò)設(shè)計(jì)四、改進(jìn)BP網(wǎng)絡(luò)五、內(nèi)容小結(jié)內(nèi)容安排2一、內(nèi)容回顧感知機(jī)自適應(yīng)線性元件3一、內(nèi)容回顧感知機(jī)感知機(jī)簡(jiǎn)介神經(jīng)元模型網(wǎng)絡(luò)結(jié)構(gòu)功能解釋學(xué)習(xí)和訓(xùn)練局限性自適應(yīng)線性元件4一、內(nèi)容回顧感知機(jī)自適應(yīng)線性元件Adline簡(jiǎn)介網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練52.1BP網(wǎng)絡(luò)簡(jiǎn)介2.2網(wǎng)絡(luò)模型2.3學(xué)習(xí)規(guī)則2.4圖形解釋2.5網(wǎng)絡(luò)訓(xùn)練二、BP網(wǎng)絡(luò)6反向傳播網(wǎng)絡(luò)(Back-PropagationNetwork，簡(jiǎn)稱(chēng)BP網(wǎng)絡(luò))是將W-H學(xué)習(xí)規(guī)則一般化，對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)權(quán)值的調(diào)整采用反向傳播(Back-propagation）的學(xué)習(xí)算法它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是S型函數(shù)輸出量為0到1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射2.1BP網(wǎng)絡(luò)簡(jiǎn)介72.1BP網(wǎng)絡(luò)簡(jiǎn)介BP網(wǎng)絡(luò)主要用于下述方面函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)模式識(shí)別和分類(lèi)：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來(lái)；把輸入矢量以所定義的合適方式進(jìn)行分類(lèi)；數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ)具有將強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入泛化性能只對(duì)被訓(xùn)練的輸入／輸出對(duì)最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差82.2網(wǎng)絡(luò)模型一個(gè)具有r個(gè)輸入和一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

92.2網(wǎng)絡(luò)模型感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過(guò)的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù){0，1}或符號(hào)函數(shù){－1，1}BP網(wǎng)絡(luò)經(jīng)常使用的是S型的對(duì)數(shù)或正切激活函數(shù)和線性函數(shù)102.2網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)特點(diǎn)輸入和輸出是并行的模擬量網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒(méi)有固定的算法權(quán)因子通過(guò)學(xué)習(xí)信號(hào)調(diào)節(jié)。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會(huì)對(duì)網(wǎng)絡(luò)輸出產(chǎn)生大的影響只有當(dāng)希望對(duì)網(wǎng)絡(luò)的輸出進(jìn)行限制，如限制在0和1之間，那么在輸出層應(yīng)當(dāng)包含S型激活函數(shù)在一般情況下，均是在隱含層采用S型激活函數(shù)，而輸出層采用線性激活函數(shù)112.2網(wǎng)絡(luò)模型S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負(fù)無(wú)窮大到正無(wú)窮大的信號(hào)，變換成-1到l之間輸出對(duì)較大的輸入信號(hào)，放大系數(shù)較小；而對(duì)較小的輸入信號(hào)，放大系數(shù)則較大采用S型激活函數(shù)可以處理和逼近非線性輸入/輸出關(guān)系122.3學(xué)習(xí)規(guī)則BP算法屬于δ算法，是一種監(jiān)督式的學(xué)習(xí)算法主要思想對(duì)于q個(gè)輸入學(xué)習(xí)樣本：P1,P2,…,Pq，已知與其對(duì)應(yīng)的輸出樣本為：T1,T2,…,Tq使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小用網(wǎng)絡(luò)的實(shí)際輸出A1,A2,…,Aq,與目標(biāo)矢量T1,T2,…,Tq之間的誤差修改其權(quán)值，使Am與期望的Tm,(m＝l,…,q)盡可能接近132.3學(xué)習(xí)規(guī)則BP算法是由兩部分組成,信息的正向傳遞與誤差的反向傳播正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層計(jì)算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過(guò)網(wǎng)絡(luò)將誤差信號(hào)沿原來(lái)的連接通路反傳回來(lái)修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)142.3學(xué)習(xí)規(guī)則假設(shè)輸入為P，輸入神經(jīng)元有r個(gè)，隱含層內(nèi)有s1個(gè)神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個(gè)神經(jīng)元，對(duì)應(yīng)的激活函數(shù)為F2，輸出為A，目標(biāo)矢量為T(mén)152.囑3學(xué)習(xí)躺規(guī)則信息漠的正豪向傳頭遞隱含所層中括第i個(gè)神間經(jīng)元縱的輸隊(duì)出輸出城層第k個(gè)神間經(jīng)元技的輸雷出定義魂誤差餅函數(shù)162.押3學(xué)習(xí)爸規(guī)則利用冒梯度逮下降譽(yù)法求艙權(quán)值濃變化個(gè)及誤饅差的殺反向傷傳播輸出局層的樓權(quán)值背變化其中同理弟可得172.追3學(xué)習(xí)梅規(guī)則利用占梯度盲下降竿法求煉權(quán)值伙變化鄰及誤爭(zhēng)差的按反向陽(yáng)傳播隱含閑層權(quán)們值變尋化其中同理籮可得182.適3學(xué)習(xí)漲規(guī)則對(duì)于f1為對(duì)事數(shù)S型激周活函拒數(shù)，對(duì)于f2為線扒性激假活函價(jià)數(shù)192.4籃誤差糠反向姻傳播明圖形廉解釋誤差亦反向揀傳播拒過(guò)程彈實(shí)際絹上是繡通過(guò)泊計(jì)算扶輸出具層的景誤差ek，然后鑰將其劣與輸趙出層陳激活軋函數(shù)如的一圣階導(dǎo)嘩數(shù)f2雞’相乘像來(lái)求眾得δki由于葛隱含汗層中喊沒(méi)有股直接充給出耽目標(biāo)贊矢量紛，所跟以利滅用輸獄出層原的δki反向艘傳遞誘來(lái)求浸出隱刪含層封權(quán)值醒的變青化量Δw士2ki。然后孟計(jì)算同樣澡通過(guò)銹將ei與該甚層激跟活函躬數(shù)的怒一階衛(wèi)導(dǎo)數(shù)f1托’相乘并，而言求得δij，以此黨求出筋前層貫權(quán)值慚的變撐化量Δw辨1ij如果寬前面殘還有畢隱含父層，案沿用畢上述露同樣煎方法要依此片類(lèi)推蕩，一拌直將鼻輸出帳誤差ek逐層脾的反暑推算盒到第礙一層微為止202.4今誤差扣反向組傳播禽圖形竹解釋212.5鑄網(wǎng)絡(luò)繪訓(xùn)練訓(xùn)練BP網(wǎng)絡(luò)枯，需以要計(jì)美算網(wǎng)他絡(luò)加象權(quán)輸值入矢露量以側(cè)及網(wǎng)某絡(luò)輸區(qū)出和這誤差遲矢量碗，然稿后求泄誤差件平方它和當(dāng)所奸訓(xùn)練早矢量盲的誤酷差平鎖方和走小于保誤差泛目標(biāo)母，訓(xùn)忌練停壘止；翅否則葛在輸聚出層烤計(jì)算脖誤差遍變化斑，且怖采用咽反向矛傳播姿學(xué)習(xí)疊規(guī)則便來(lái)調(diào)愧整權(quán)衛(wèi)值，澡然后夕重復(fù)距此過(guò)糞程網(wǎng)絡(luò)聚完成續(xù)訓(xùn)練跳后，偷對(duì)網(wǎng)長(zhǎng)絡(luò)輸叫入一左個(gè)不西是訓(xùn)愧練集吹合中鬧的矢緩量，啞網(wǎng)絡(luò)獄將以氣泛化踏方式鬼給出攏輸出區(qū)結(jié)果222.5峰網(wǎng)絡(luò)廳訓(xùn)練為了忠能夠您較好匯地掌沸握BP網(wǎng)絡(luò)巡壽的訓(xùn)錄練過(guò)柏程，婆我們施用兩抓層網(wǎng)琴絡(luò)為盟例來(lái)稱(chēng)敘述BP網(wǎng)絡(luò)犬的訓(xùn)減練步叢驟初始怠化：鋸用小彎的隨泡機(jī)數(shù)通初始把化每國(guó)一層天的權(quán)幕值W和偏黎差B，保證展網(wǎng)絡(luò)崖不被李大的漠加權(quán)虧輸入痕飽和期望霧誤差勸最小目值er化ro景r_沖go創(chuàng)al最大厭循環(huán)趁次數(shù)ma豎x_銜ep顏oc慰h修正碧權(quán)值讓的學(xué)競(jìng)習(xí)速把率1r，一般斑情況唯下k＝窄0.擦0l鋪,0捏.7232.5概網(wǎng)絡(luò)禽訓(xùn)練變量宗表達(dá)姻：計(jì)浩算網(wǎng)宮絡(luò)各嫁層輸輛出矢芒量A1和A2以及泰網(wǎng)絡(luò)敏誤差EA1及＝ta傻ns答ig(W你1*框P，唱B1肆)；A2疼＝pu絨re留li暫n(W席2*臭A1沉，B喪2)陰；E＝燥T-公A；權(quán)值才修正揪：計(jì)卷算各頸層反屆傳的遲誤差爬變化D2和D1并計(jì)攀算各壟層權(quán)細(xì)值的反修正耐值以株及新貌權(quán)值場(chǎng)：D2姓＝de朋lt種al剖in(A奇2，氏E)聽(tīng)；D1酒＝de搶lt減at老an(A達(dá)1，退D2辱，W早2)公；[dl獎(jiǎng)Wl，dB買(mǎi)l]＝le吐ar偷nb材p(P廈，D賣(mài)1，lr)；[d讀W2舟，d租B2姥]＝阿1e崗ar草nb膊p(喂A1挑，D罪2，羽1r舅)；W1像＝W點(diǎn)1十dW膜1；號(hào)B1媽?zhuān)紹辛1十dB弦l；W2青＝W稀2十dW伶2；華B2令＝B扯2十dB來(lái)2242.5惕網(wǎng)絡(luò)拍訓(xùn)練計(jì)算崇權(quán)值記修正傳后誤條差平阿方和SS鏈E＝su控ms司qr(T迫-pu和re軋li堡n(W歡2*ta賭ns聯(lián)ig(W啄1*脊P，惹B1懼)，內(nèi)B2朽))檢查饅：SS到E是否浩小于er塌r_煩go傷al。若是辟，訓(xùn)效練結(jié)卻束；陡否則辯繼續(xù)以上帽所有毀的學(xué)嘗習(xí)規(guī)踩則與匪訓(xùn)練膀的全哪過(guò)程郊，可央以用重函數(shù)tr攝ai攏nb劃p.m來(lái)完珍成它的川使用懶只需認(rèn)定義厚有關(guān)賭參數(shù)樹(shù)：顯扯示間梨隔次稱(chēng)數(shù)，態(tài)最大握循環(huán)藝次數(shù)菊，目察標(biāo)誤等差，鐘以及付學(xué)習(xí)塌速率照。調(diào)出用后尋返回巡壽訓(xùn)練運(yùn)后權(quán)核值，幼循環(huán)俘總數(shù)唯和最繭終誤怒差TP罩＝[di站sp_f賢re劈燕q渠m櫻a(bǔ)x竭_(dá)e益po摩ch子er純r(jià)_痛go雜al捉1r康][W暫，B怪，e右po尿ch鮮s，曉er概ro差rs爸]＝tr峽ai挽nb躁p(W暮，B和，’纏F’借，P則，T日，T吐P)25三、升網(wǎng)絡(luò)惰設(shè)計(jì)3.診1女網(wǎng)絡(luò)紅的層飼數(shù)3.州2隱含糖層神占經(jīng)元火數(shù)3.癢3揚(yáng)初始榮權(quán)值白的選恐取3.怖4園學(xué)習(xí)哈速率3.鋸5動(dòng)期望僵誤差豈的選耕取3.配6我應(yīng)用帳舉例3.紋7局限遷性263.遍1茫網(wǎng)絡(luò)你的層昂數(shù)理論珍上已夜經(jīng)證悟明：名具有四偏差示和至扒少一模個(gè)S型隱貝含層臟加上濁一個(gè)膀線性購(gòu)輸出莖層的項(xiàng)網(wǎng)絡(luò)申，能閉夠逼鏡近任窩何有催理函逮數(shù)定理玻：增加異層數(shù)武主要哨可以桐進(jìn)一種步的員降低賊誤差鉆，提巖高精皮度，戚但同倚時(shí)也市使網(wǎng)聞絡(luò)復(fù)竭雜化仍，從系而增籌加了躁網(wǎng)絡(luò)練權(quán)值怕的訓(xùn)核練時(shí)呢間。一般缺情況醋下應(yīng)裕優(yōu)先煉考慮長(zhǎng)增加亮隱含網(wǎng)層中敢神經(jīng)撒元數(shù)僅用紀(jì)具有酒非線除性激瘦活函程數(shù)的淺單層漏網(wǎng)絡(luò)氣來(lái)解協(xié)決問(wèn)橫題沒(méi)萍有必綿要或抄效果浮不好線性菊問(wèn)題非線奏性問(wèn)摘題273.臨2隱含涂層神薦經(jīng)元吸數(shù)網(wǎng)絡(luò)劫訓(xùn)練躁精度蔥的提毫高，臟可以市通過(guò)殺采用障一個(gè)楊隱含恒層，你而增參加其掙神經(jīng)珠元數(shù)鏟的方稈法來(lái)土獲得撿。這頁(yè)在結(jié)公構(gòu)實(shí)證現(xiàn)上者，要卵比增憲加更贏多的沈隱含島層簡(jiǎn)歌單得淚多定理頌：實(shí)現(xiàn)搬任意N個(gè)輸慶入向銷(xiāo)量構(gòu)崇成的克任何液布爾來(lái)函數(shù)仆的前忘向網(wǎng)嬸絡(luò)所鐮需權(quán)下系數(shù)謠數(shù)目根為在具亭體設(shè)湖計(jì)時(shí)摟，比稅較實(shí)擁際的唯做法場(chǎng)是通鋤過(guò)對(duì)楚不同傳神經(jīng)潮元數(shù)粱進(jìn)行盜訓(xùn)練佩對(duì)比衣，然滾后適幼當(dāng)?shù)厮]加上魂一點(diǎn)膛余量283.炕3璃初始擋權(quán)值固的選液取一般副取初劣始權(quán)贊值在者(-鑒1，細(xì)1)皂之間編的隨完機(jī)數(shù)威得砌羅等總?cè)嗽谂曳治霭读藘蔂?zhēng)層網(wǎng)賽絡(luò)是忙如何川對(duì)一膀個(gè)函妹數(shù)進(jìn)辱行訓(xùn)載練后籮，提哪出一帆種選挑定初腐始權(quán)箱值的針策略選擇刑權(quán)值佳的量崗級(jí)為在MA逮TL排AB工具島箱中茶可采項(xiàng)用函倚數(shù)nw沖lo風(fēng)g.m或nw灣ta良n.m來(lái)初合始化膽隱含期層權(quán)弊值W1和B1芳。其方自法僅僚使用趨在第馬一隱桌含層脊的初帳始值岸的選朋取上逗，后刺面層兆的初鞋始值增仍然鄭采用現(xiàn)隨機(jī)拼取數(shù)293.挑4感學(xué)習(xí)級(jí)速率學(xué)習(xí)侍速率醉決定程每一積次循潤(rùn)環(huán)訓(xùn)帽練中輔所產(chǎn)炎生的騎權(quán)值箱變化挖量大的泡學(xué)習(xí)您速率怎可能熱導(dǎo)致妙系統(tǒng)適的不反穩(wěn)定小的說(shuō)學(xué)習(xí)瓣速率嗚導(dǎo)致覽較長(zhǎng)西的訓(xùn)分練時(shí)趟間，燭可能冊(cè)收斂暖很慢宴，不毛過(guò)能寨保證貫網(wǎng)絡(luò)的的誤躺差值疾不跳喂出誤術(shù)差表狀面的螺低谷學(xué)而最膏終趨僑于最竊小誤蠅差值所以渣在一撓般情虹況下蠢，傾睡向于事選取漲較小選的學(xué)掌習(xí)速纏率以笑保證傻系統(tǒng)們的穩(wěn)貪定性痰。學(xué)氏習(xí)速知率的啦選取辜范圍驅(qū)在0洞.0漸1-范0.起8之襪間303.拉5期望觀誤差危值選敗取在設(shè)扁計(jì)網(wǎng)澡絡(luò)的兩訓(xùn)練肝過(guò)程態(tài)中，邪期望燒誤差層值也勵(lì)應(yīng)當(dāng)摘通過(guò)至對(duì)比屋訓(xùn)練腳后確玩定一蜘個(gè)合數(shù)適的估值這個(gè)扭所謂紀(jì)的“掙合適賤”，遵是相蛛對(duì)于僚所需慘要的合隱含何層的創(chuàng)節(jié)點(diǎn)方數(shù)來(lái)遺確定拒，因困為較旋小的雖期望緊誤差萍值是緞要靠將增加轉(zhuǎn)隱含塔層的歇節(jié)點(diǎn)侄，以筍及訓(xùn)液練時(shí)杯間來(lái)筆獲得一般闖情況朗下，砌作為消對(duì)比包，可不以同恰時(shí)對(duì)苦兩個(gè)祖不同播期望涉誤差侍值的左網(wǎng)絡(luò)償進(jìn)行蔥訓(xùn)練叉，最崖后通楊過(guò)綜夠合因祖素的夫考慮口來(lái)確劇定采轟用其獎(jiǎng)中一妥個(gè)網(wǎng)墳絡(luò)313.喇6嚇應(yīng)用卻舉例求解親函數(shù)忍逼近恢問(wèn)題有2愛(ài)1組量單輸泡入矢艘量和物相對(duì)反應(yīng)的蹲目標(biāo)悅矢量醫(yī)，試吵設(shè)計(jì)架神經(jīng)懲網(wǎng)絡(luò)峰來(lái)實(shí)坑現(xiàn)這租對(duì)數(shù)丹組的妖函數(shù)出關(guān)系P=良-1霸:0柔.1腸:1T=徒[-燒0.咳960.討57吼7為-尋0.鋒07石29敞0.恢37痰70.達(dá)64池10.羨66出0.栗46雕1椒0輕.1砌33決6此…-0喝.2嗓01-0焰.4勝34瓣-0嗎.5-0弊.3午93稈-0每.1宵64遲70.廈09夠88帳0.月30擔(dān)72鋸…0.餅39威60.奔34宜49警0.嗚18鑒16蛇-0抽.0唇31湯2皆-繡0.莖21忍83勝-0冤.3捕20渴1]測(cè)試警集P2圈=-覺(jué)1:翻0.滿(mǎn)02勾5:嘉1323.脈6深應(yīng)用蝕舉例目標(biāo)糟矢量秘相對(duì)鄉(xiāng)豐于輸矩入矢插量的哄圖形初始貍網(wǎng)絡(luò)介的輸向出曲忽線333.思6委應(yīng)用酷舉例訓(xùn)練蹤蝶10致00慰次役20鋒00爬次343.呀6著應(yīng)用殃舉例訓(xùn)練茅30勞00疑次屬50陽(yáng)00酸次353.苦7限制御與不梅足需要從較長(zhǎng)紹的訓(xùn)米練時(shí)限間完全美不能匪訓(xùn)練選取惠較小葵的初恢始權(quán)惜值采用香較小碰的學(xué)竭習(xí)速愈率，油但同頁(yè)時(shí)又民增加刑了訓(xùn)哪練時(shí)錢(qián)間局部彼極小氧值BP算法選可以怠使網(wǎng)爪絡(luò)權(quán)誕值收叛斂到畢一個(gè)展解，熔但它朋并不鼓能保淺證所鍵求為葬誤差掠超平棉面的猜全局穴最小躁解，墓很可則能是惱一個(gè)忙局部筋極小則解36四、BP網(wǎng)絡(luò)父的改進(jìn)4.習(xí)1辯目標(biāo)4.旨2午附加鋒動(dòng)量墨法4.仆3粒誤差贏函數(shù)美改進(jìn)4.侍4法自適闖應(yīng)學(xué)晌習(xí)速掩率374.氧1趨目標(biāo)加快培訓(xùn)練爐速度避免巡壽陷入涉局部協(xié)極小待值384.衰2歉附加唯動(dòng)量葵法利用敞附加汁動(dòng)量喜的作勤用則汽有可仍能滑畏過(guò)局驢部極布小值修正五網(wǎng)絡(luò)找權(quán)值掌時(shí)，麻不僅斗考慮喝誤差宏在梯音度上彎的作食用，續(xù)而且叔考慮新在誤兩差曲豎面上豬變化肢趨勢(shì)餃的影非響，親其作理用如菠同一帥個(gè)低解通濾覆波器扣，它墾允許枯網(wǎng)絡(luò)霜忽略悉網(wǎng)絡(luò)砍上微您小變擔(dān)化特魚(yú)性該方昂法是茶在反挎向傳抵播法筒的基她礎(chǔ)上嫁在每癢一個(gè)剝權(quán)值饅的變雹化上襯加上動(dòng)一項(xiàng)膝正比欣于前擔(dān)次權(quán)御值變謀化量鈴的值冶，并運(yùn)根據(jù)桑反向券傳播音法來(lái)良產(chǎn)生播新的愁權(quán)值航變化394.浮2丟附加妨動(dòng)量窮法帶有念附加框動(dòng)量捎因子頂?shù)臋?quán)奇值調(diào)瞧節(jié)公康式其中k為訓(xùn)首練次腦數(shù)，mc為動(dòng)容量因季子，破一般油取0暈．9篩5左盤(pán)右附加美動(dòng)量遍法的筆實(shí)質(zhì)合是將賭最后儀一次墓權(quán)值炊變化拜的影栽響，擇通過(guò)慚一個(gè)創(chuàng)動(dòng)量比因子講來(lái)傳亦遞。當(dāng)動(dòng)味量因便子取酷值為汪零時(shí)禽，權(quán)廳值變額化僅鄙根據(jù)腔梯度英下降隱法產(chǎn)廊生當(dāng)動(dòng)愉量因獎(jiǎng)子取徹值為噸1時(shí)憐，新超的權(quán)軟值變檢化則績(jī)是設(shè)頓置為慕最后所一次勿權(quán)值添的變片化，阻而依愁梯度節(jié)法產(chǎn)石生的拜變化朽部分粗則被版忽略告掉了促使夕權(quán)值禍的調(diào)屑節(jié)向夜著誤扭差曲勒面底饒部的稼平均棟方向世變化烤，當(dāng)太網(wǎng)絡(luò)坡權(quán)值黑進(jìn)入蕩誤差蠶曲面坐底部沿的平放坦區(qū)畝時(shí)，δi將變兄得很規(guī)小，妹于是腳，Δwij(k瞎+1過(guò))≈喂Δwij(k奧)，從而塘防止犬了Δwij=0的出蛛現(xiàn)，漆有助遲于使傲網(wǎng)絡(luò)欣從誤很差曲質(zhì)面的凳局部難極小窩值中延跳出404.霉2芬附加薯動(dòng)量釋法在MA蜻TL泄AB工具縫箱中禾，帶論有動(dòng)派量因庫(kù)子的受權(quán)值蝴修正腹法是慎用函盼數(shù)le陳ar素nb蜂pm.m來(lái)實(shí)評(píng)現(xiàn)的tr挨ai芽nb抓pm.m可以師訓(xùn)練拌一層尺直至桌三層黨的帶眠有附摟加動(dòng)湖量因筒子的廁反向辦傳播樣網(wǎng)絡(luò)下面袋是對(duì)饒單層鳳網(wǎng)絡(luò)費(fèi)使用筒函數(shù)tr挽ai走nb虎pm.m的情撿形：[W，予B，廁ep竊oc英hs臟，e朽rr艷or襖s]蹄＝tr歲ai爛nb逗pm(W烘，B錢(qián)，’物F’階，P忠，T雪，T性P)414.未3元誤差嶺函數(shù)漠改進(jìn)當(dāng)ak趨向舟1時(shí)柜，E趨向病一個(gè)充常數(shù)死，即棕處于E的平省坦區(qū)第，f’椒(n版)→仇0，可能頃造成直完全圓訓(xùn)練嚼的麻浮痹現(xiàn)酒象當(dāng)一扯個(gè)網(wǎng)稻絡(luò)的順誤差最曲面疼存在午著平球坦區(qū)須時(shí)，墓可以爛選用林別的島誤差鳴函數(shù)f(tk,ak)來(lái)代投替(tk-ak)2的形次式，濕只要臨其函膚數(shù)在ak=tk時(shí)能愁達(dá)到耗最小篩值424.孩3逼誤差浩函數(shù)擦改進(jìn)包穆滲(Ba轎um埋)等人顯于1世98虧8年灰提出罪一種懼誤差魂函數(shù)敗為不會(huì)狐產(chǎn)生學(xué)不能酸完全頃訓(xùn)練借的麻底痹現(xiàn)耳象434.閃3墓誤差怎函數(shù)松改進(jìn)與?？煲?guī)的清誤差欺函數(shù)長(zhǎng)的情磨況δij=f目’(腥n)令(tk-ak)相比報(bào)較，歉其中埋的f’涼(n新)項(xiàng)消墊失了當(dāng)n增大偵，進(jìn)替入激徑活函樓數(shù)的叛平坦醫(yī)區(qū)，孕使f’傭(n銳)→忽0時(shí)，痛不會(huì)睜產(chǎn)生日不能痕完全厲訓(xùn)練肯的麻烘痹現(xiàn)腸象但由懶于失槐去了f’殿(n閘)對(duì)Δw的控常制作砌用，巷過(guò)大膨的Δw又有勒可能長(zhǎng)導(dǎo)致紋網(wǎng)絡(luò)應(yīng)過(guò)調(diào)任或振笛蕩19儉89穿年，垂范爾紋曼(S.Fa霧hl滅ma款n)提出家一種名折中惰的方睬案，瓜即取δk＝[橫f’塞(n艇)+另0.伯1]薪(tk-ak)一方券面恢練復(fù)了f’碑(n牲)的某閉些影催響另一嚷方面址當(dāng)|n|變大柜時(shí)，敘仍能和保持δk有一議定的脾大小攪，從變而避岡免了天麻痹腹現(xiàn)象陰的發(fā)袍生444.勿4自適家應(yīng)學(xué)僚習(xí)速毛率通常工調(diào)節(jié)蛇學(xué)習(xí)比速率團(tuán)的準(zhǔn)多則是挨，檢酒查權(quán)市值的傳修正葵值是把否真悄正降列低了盟誤差券函數(shù)鞋，如藥果確扮實(shí)如勾此，靈則說(shuō)膽明所優(yōu)選取霜的學(xué)我習(xí)速推率值叼小了帝，可套以對(duì)中其增黃加一寇個(gè)量溫；否草則可套認(rèn)為稻產(chǎn)生敗過(guò)調(diào)階，應(yīng)龜該減園小學(xué)拾習(xí)速億率的蠻值一種舌自適股應(yīng)學(xué)增習(xí)速績(jī)率的房誠(chéng)調(diào)整份公式454.喊4自適榨應(yīng)學(xué)藍(lán)習(xí)速漿率MA銅TL冒AB工具起箱中芳帶有贊自適甘應(yīng)學(xué)跌習(xí)速造率進(jìn)躲行反滲向傳叮播訓(xùn)夸練的腎函數(shù)躍為tr豈ai斥nb簽pa.m可訓(xùn)失練直胳至三唯層網(wǎng)梳絡(luò)。使用仇方法[W,蹲B萬(wàn),疤ep斧oc講hs盤(pán),鞏TE倆]＝tr嚇ai朝nb微pa(W波，B宵，’言F’坦，P跟，T線，T米P)可以?xún)磳?dòng)察量法極和自巧適應(yīng)朱學(xué)習(xí)衫速率莫結(jié)合夜起來(lái)筋以利纏用兩樣方面媽的優(yōu)侄點(diǎn)。序這個(gè)咽技術(shù)宮已編糊入了民函數(shù)tr洞ai睜nb慣px.m之中函數(shù)現(xiàn)的調(diào)怠用和丹其他漢函數(shù)韻一樣喚，只旦是需盜要更辛多的卡初始歌參數(shù)垂而已TP煮＝[di狠sp_f幻玉re友q主m母ax繼_e渴po悠ch商er賊ro辨r_縣go陡allr1r燃_i披nc總1r合_de乞cmo和m_贈(zèng)co浴ns底t螞e欣rr侮_r膊at已io輝]；[W鈴，B嘉，e問(wèn)po寄ch島s，溪[e小rr屑o(jì)r有;lr]]埋＝tr錯(cuò)ai乳nb