人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用第3講感知機(jī)及BP網(wǎng)絡(luò).ppt

人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用 第3講 感知機(jī)及BP網(wǎng)絡(luò),何建華 電信系，華中科技大學(xué) 2003年2月25日,2019/7/16,2,一、內(nèi)容回顧 二、感知機(jī) 三、自適應(yīng)線性元件 四、內(nèi)容小結(jié),內(nèi)容安排,2019/7/16,3,生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,一、內(nèi)容回顧,2019/7/16,4,生物神經(jīng)元 生物神經(jīng)元模型 突觸信息處理 信息傳遞功能與特點(diǎn) 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,一、內(nèi)容回顧,2019/7/16,5,生物神經(jīng)元模型,一、內(nèi)容回顧,2019/7/16,6,生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)元模型 常見(jiàn)響應(yīng)函數(shù) 人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,一、內(nèi)容回顧,2019/7/16,7,生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法 權(quán)值確定 Hebb學(xué)習(xí)規(guī)則 誤差校正學(xué)習(xí)規(guī)則 相近（無(wú)教師）學(xué)習(xí)規(guī)則,一、內(nèi)容回顧,2019/7/16,8,Hebb學(xué)習(xí)規(guī)則,Donall Hebb根據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則 如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接加強(qiáng) a為學(xué)習(xí)速率，Vi, Vj為神經(jīng)元i和j的輸出 Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形,2019/7/16,9,誤差校正規(guī)則,用已知樣本作為教師對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí) 學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出 誤差校正學(xué)習(xí)規(guī)則實(shí)際上是一種梯度方法 不能保證得到全局最優(yōu)解 要求大量訓(xùn)練樣本，收斂速度慢 對(duì)樣本地表示次序變化比較敏感,2019/7/16,10,無(wú)教師學(xué)習(xí)規(guī)則,這類(lèi)學(xué)習(xí)不在于尋找一個(gè)特殊映射的表示，而是將事件空間分類(lèi)為輸入活動(dòng)區(qū)域，并有選擇地對(duì)這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反映觀察事件的分部 輸入可以為連續(xù)值，對(duì)噪聲有較強(qiáng)抗干擾能力 對(duì)較少輸入樣本，結(jié)果可能要依賴于輸入序列 在ART、Kohonen等自組織競(jìng)爭(zhēng)型網(wǎng)絡(luò)中采用,2019/7/16,11,2.1 感知機(jī)簡(jiǎn)介 2.2 神經(jīng)元模型 2.3 網(wǎng)絡(luò)結(jié)構(gòu) 2.4 功能解釋 2.5 學(xué)習(xí)和訓(xùn)練 2.6 局限性,二、感知機(jī),2019/7/16,12,感知器由美國(guó)計(jì)算機(jī)科學(xué)家羅森布拉特（F.Roseblatt）于1957年提出 收斂定理 F.Roseblatt證明，如果兩類(lèi)模式是線性可分的（指存在一個(gè)超平面將它們分開(kāi)），則算法一定收斂 感知器特別適用于簡(jiǎn)單的模式分類(lèi)問(wèn)題，也可用于基于模式分類(lèi)的學(xué)習(xí)控制中 本講中感知器特指單層感知器,2.1 感知機(jī)簡(jiǎn)介,2019/7/16,13,2.2 神經(jīng)元模型,2019/7/16,14,2.3 網(wǎng)絡(luò)結(jié)構(gòu),ni 第i個(gè)神經(jīng)元加權(quán)輸入和 ai第i個(gè)神經(jīng)元輸出,i1,2,s,2019/7/16,15,2.4 功能解釋,感知器的基本功能是將輸入矢量轉(zhuǎn)化成0或1的輸出 根據(jù)輸出值通過(guò)測(cè)試加權(quán)輸入和值落在閾值函數(shù)的左右對(duì)輸入數(shù)據(jù)進(jìn)行分類(lèi),2019/7/16,16,2.4 功能解釋,這一功能可以通過(guò)在輸人矢量空間里的作圖來(lái)加以解釋 以輸入矢量r2為例 對(duì)選定的權(quán)值w1、w2和b，可以在以p1和p2分別作為橫、縱坐標(biāo)的輸入平面內(nèi)畫(huà)出W*P+bw1 p1十w2 p2十b0的軌跡 它是一條直線，此直線上及其線以上部分的所有p1、p2值均使w1 p1十w2 p2十b0，這些點(diǎn)通過(guò)由w1、w2和b構(gòu)成的感知器的輸出為1；該直線以下部分的點(diǎn)通過(guò)感知器的輸出為0,2019/7/16,17,2.4 功能解釋,2019/7/16,18,當(dāng)采用感知器對(duì)不同的輸入矢量進(jìn)行期望輸出為0或1的分類(lèi)時(shí)，其問(wèn)題可轉(zhuǎn)化為對(duì)已知輸入矢量在輸入空間形成的不同點(diǎn)的位置，設(shè)計(jì)感知器的權(quán)值W和b 感知器權(quán)值參數(shù)設(shè)計(jì)目的，就是根據(jù)學(xué)習(xí)法則設(shè)計(jì)一條W*P+b0的軌跡，使其對(duì)輸入矢量能夠達(dá)到所期望的劃分,2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,19,學(xué)習(xí)規(guī)則 用來(lái)計(jì)算新的權(quán)值矩陣W及新的偏差B的算法 權(quán)值的變化量等于輸入矢量 假定輸入矢量P，輸出矢量A，目標(biāo)矢量為T(mén)的感知器網(wǎng)絡(luò),2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,20,如果第i個(gè)神經(jīng)元的輸出是正確的，即aiti，那么與第i個(gè)神經(jīng)元聯(lián)接的權(quán)值wij和偏差值bi保持不變 如果第i個(gè)神經(jīng)元的輸出是0，但期望輸出為1，即有ai0，而ti1，此時(shí)權(quán)值修正算法為：新的權(quán)值wij為舊的權(quán)值wij加上輸人矢量pj；新的偏差bi為舊偏差bi加上1 如果第i個(gè)神經(jīng)元的輸出為1，但期望輸出為0，即有ai1，而ti0，此時(shí)權(quán)值修正算法，新的權(quán)值wij等于舊的權(quán)值wij減去輸入矢量pj；新的偏差bi為舊偏差bi減去1,2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,21,上述用來(lái)修正感知器權(quán)值的學(xué)習(xí)算法在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中已編成了子程序，成為一個(gè)名為1earnp.m的函數(shù)。 只要直接調(diào)用此函數(shù)，即可立即獲得權(quán)值的修正量。此函數(shù)所需要的輸人變量為：輸入、輸出矢量和目標(biāo)矢量（P、A和T） 調(diào)用命令為： dW，dBlearnp(P，A，T),2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,22,訓(xùn)練思想 在輸入矢量P的作用下，計(jì)算網(wǎng)絡(luò)的實(shí)際輸出A，并與相應(yīng)的目標(biāo)矢量T進(jìn)行比較，檢查A是否等于T，然后用比較后的誤差量，根據(jù)學(xué)習(xí)規(guī)則進(jìn)行權(quán)值和偏差的調(diào)整 重新計(jì)算網(wǎng)絡(luò)在新權(quán)值作用下的輸入，重復(fù)權(quán)值調(diào)整過(guò)程，直到網(wǎng)絡(luò)的輸出A等于目標(biāo)矢量T或訓(xùn)練次數(shù)達(dá)到事先設(shè)置的最大值時(shí)訓(xùn)練結(jié)束,2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,23,訓(xùn)練算法 對(duì)于所要解決的問(wèn)題，確定輸入矢量P，目標(biāo)矢量T，并確定各矢量的維數(shù)及神經(jīng)元數(shù)目：r，s和q； （1）參數(shù)初始化 a)賦給權(quán)矢量w在(l，1)的隨機(jī)非零初始值； b)給出最大訓(xùn)練循環(huán)次數(shù)max_epoch； （2）初始化網(wǎng)絡(luò)表達(dá)式。根據(jù)輸人矢量P以及最新權(quán)矢量W，計(jì)算網(wǎng)絡(luò)輸出矢量A； （3）檢查過(guò)程。檢查輸出矢量A與目標(biāo)矢量T是否相同。如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入（4） （4）學(xué)習(xí)過(guò)程。根據(jù)感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量，并返回（3）,2.5 網(wǎng)絡(luò)學(xué)習(xí)與訓(xùn)練,2019/7/16,24,由于感知器的激活函數(shù)采用的是閥值函數(shù)，輸出矢量只能取0或1，所以只能用它來(lái)解決簡(jiǎn)單的分類(lèi)問(wèn)題 感知器僅能夠線性地將輸入矢量進(jìn)行分類(lèi) 當(dāng)輸入矢量中有一個(gè)數(shù)比其他數(shù)都大或小得很多時(shí)，可能導(dǎo)致較慢的收斂速度,2.6 局限性,2019/7/16,25,三、自適應(yīng)線性元件,3.1 Adline簡(jiǎn)介 3.2 網(wǎng)絡(luò)結(jié)構(gòu) 3.3 網(wǎng)絡(luò)學(xué)習(xí) 3.4 網(wǎng)絡(luò)訓(xùn)練 3.5 應(yīng)用舉例 3.6 局限性,2019/7/16,26,3.1 Adline簡(jiǎn)介,自適應(yīng)線性元件(Adaptive Linear Element 簡(jiǎn)稱(chēng)Adaline) 由威德羅(Widrow)和霍夫(Hoff)首先提出 自適應(yīng)線性元件的主要用途是線性逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想。 它與感知器的主要不同之處 在于其神經(jīng)元有一個(gè)線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1 它采用的是W-H學(xué)習(xí)法則，也稱(chēng)最小均方差(LMS)規(guī)則對(duì)權(quán)值進(jìn)行訓(xùn)練,2019/7/16,27,3.2 網(wǎng)絡(luò)結(jié)構(gòu),神經(jīng)元(a)與網(wǎng)絡(luò)(b),2019/7/16,28,3.3 學(xué)習(xí)規(guī)則,W-H學(xué)習(xí)規(guī)則是由威德羅和霍夫提出的用來(lái)修正權(quán)矢量的學(xué)習(xí)規(guī)則 采用W-H學(xué)習(xí)規(guī)則可以用來(lái)訓(xùn)練一定網(wǎng)絡(luò)的權(quán)值和偏差使之線性地逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想(Pattern Association) 定義一個(gè)線性網(wǎng)絡(luò)的輸出誤差函數(shù) 目的是通過(guò)調(diào)節(jié)權(quán)矢量，使E(W，B)達(dá)到最小值所以在給定E(W，B)后，利用W-H學(xué)習(xí)規(guī)則修正權(quán)矢量和偏差矢量，使E(W，B)從誤差空間的某一點(diǎn)開(kāi)始，沿著E(W，B)的斜面向下滑行,2019/7/16,29,3.3 學(xué)習(xí)規(guī)則,根據(jù)梯度下降法，權(quán)矢量的修正值正比于當(dāng)前位置上E(W，B)的梯度，對(duì)于第i個(gè)輸出節(jié)點(diǎn)有： 或表示為,2019/7/16,30,3.3 學(xué)習(xí)規(guī)則,為學(xué)習(xí)速率。在一般的實(shí)際運(yùn)用中，實(shí)踐表明，通常取一接近1的數(shù)，或取值為： 自適應(yīng)線性網(wǎng)絡(luò)還有另一個(gè)潛在的困難，當(dāng)學(xué)習(xí)速率取得較大時(shí)，可導(dǎo)致訓(xùn)練過(guò)程的不穩(wěn)定 采用W-H規(guī)則訓(xùn)練自適應(yīng)線性元件使其能夠得以收斂的必要條件是被訓(xùn)練的輸入矢量必須是線性獨(dú)立的，且應(yīng)適當(dāng)?shù)剡x擇學(xué)習(xí)速率以防止產(chǎn)生振蕩現(xiàn)象,2019/7/16,31,3.4 網(wǎng)絡(luò)訓(xùn)練,自適應(yīng)線性元件的網(wǎng)絡(luò)訓(xùn)練過(guò)程可歸納為以下四個(gè)步驟 初始化。權(quán)值W,B和T 表達(dá)。計(jì)算訓(xùn)練的輸出矢量A=W*P+B，以及與期望輸出之間的誤差E=T-A 檢查。將網(wǎng)絡(luò)輸出誤差的平方和與期望誤差相比較，如果其值小于期望誤差，或訓(xùn)練已達(dá)到事先設(shè)定的最大訓(xùn)練次數(shù)，則停止訓(xùn)練；否則繼續(xù) 學(xué)習(xí)。采用W-H學(xué)習(xí)規(guī)則計(jì)算新的權(quán)值和偏差，并返回到“表達(dá)”過(guò)程,2019/7/16,32,3.5 應(yīng)用舉例,考慮一個(gè)較大的多神經(jīng)元網(wǎng)絡(luò)的模式聯(lián)想的設(shè)計(jì)問(wèn)題 輸入矢量P和目標(biāo)矢量T,2019/7/16,33,3.5 應(yīng)用舉例,求解精確解 這個(gè)問(wèn)題的求解同樣可以采用線性方程組求出，即對(duì)每一個(gè)輸出節(jié)點(diǎn)寫(xiě)出輸入和輸出之間的關(guān)系等式,2019/7/16,34,3.5 應(yīng)用舉例,求解神經(jīng)網(wǎng)絡(luò) 訓(xùn)練誤差記錄 訓(xùn)練后權(quán)值,2019/7/16,35,3.5 應(yīng)用舉例,求解神經(jīng)網(wǎng)絡(luò) 由輸入矢量和目標(biāo)輸出矢量可得：r3，s4，q4。網(wǎng)絡(luò)的結(jié)構(gòu)如下圖示,2019/7/16,36,3.5 應(yīng)用舉例,分析Adline與方程求解 求解前述16個(gè)方程不太容易，需要一定時(shí)間 對(duì)一些實(shí)際問(wèn)題，如果不需要求出其完美的零誤差時(shí)的解，也即允許存在一定的誤差時(shí)，采用自適應(yīng)線性網(wǎng)絡(luò)求解可以很快地訓(xùn)練出滿足一定要求的網(wǎng)絡(luò)權(quán)值 如果輸入矢量具有奇異性，用函數(shù)solvelin.m求解精確解時(shí)將產(chǎn)生問(wèn)題。而神經(jīng)網(wǎng)絡(luò)則能得到較好的性能,2019/7/16,37,3.6 Adline與感知機(jī),網(wǎng)絡(luò)模型結(jié)構(gòu)上 感知器和自適應(yīng)線性網(wǎng)絡(luò)而言，結(jié)構(gòu)上的主要區(qū)別在于激活函數(shù)，分別為二值型和線性 學(xué)習(xí)算法 感知器的算法是最早提出的可收斂的算法 它的自適應(yīng)思想被威德羅和霍夫發(fā)展成使其誤差最小的梯度下降法 在BP算法中得到進(jìn)一步的推廣，它們屬于同一類(lèi)算法 適用性與局限性 感知器僅能夠進(jìn)行簡(jiǎn)單的分類(lèi)。感知器可以將輸入分成兩類(lèi)或四類(lèi)等，但僅能對(duì)線性可分的輸入進(jìn)行分類(lèi)。 自適應(yīng)線性網(wǎng)絡(luò)除了像感知器一樣可以進(jìn)行線性分類(lèi)外，還可以實(shí)現(xiàn)線性逼近，因?yàn)槠浼せ詈瘮?shù)可以連續(xù)取值而不同于感知器的僅能取0或1的緣故,2019/7/16,38,四、內(nèi)容小結(jié),內(nèi)容回顧 感知機(jī) 自適應(yīng)線性元件 下次講課內(nèi)容,2019/7/16,39,四、內(nèi)容小結(jié),內(nèi)容回顧 生物神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法 感知機(jī) 自適應(yīng)線性元件 下次講課內(nèi)容,2019/7/16,40,四、內(nèi)容小結(jié),內(nèi)