人工神經(jīng)網(wǎng)絡(luò)(網(wǎng)絡(luò)資料)

1、人工神經(jīng)網(wǎng)絡(luò)1、 基本特征(1) 結(jié)構(gòu)特征 并行處理（時(shí)間）、分布式存儲（空間）與容錯(cuò)性(2) 能力特征 自適應(yīng)性（自學(xué)習(xí)和自組織）2、 基本功能(1)聯(lián)想記憶 自聯(lián)想和異聯(lián)想(2)非線性映射(3)分類與識別(4)優(yōu)化計(jì)算(5)知識處理3、神經(jīng)元建模：(1) 每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；(2) 神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；(3) 神經(jīng)元具有空間整合性和閾值特性；(4) 神經(jīng)元輸入與輸出間有固定的時(shí)滯，主要取決于突觸延擱；(5) 忽略時(shí)間整合作用和不應(yīng)期；(6) 神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。4、人工神經(jīng)元模型令表示t時(shí)刻神經(jīng)元j接收的來

2、自神經(jīng)元i的輸入信息，表示t時(shí)刻神經(jīng)元j的輸出信息，則神經(jīng)元j的狀態(tài)可表達(dá)為：其中，為輸入輸出間的突觸時(shí)延，為神經(jīng)元j的閾值，為神經(jīng)元i到j(luò)的突觸連接系數(shù)或稱權(quán)重值，為神經(jīng)元轉(zhuǎn)移函數(shù)。取，則有：輸入總和常稱為神經(jīng)元在t時(shí)刻的凈輸入，用下式表示：體現(xiàn)了神經(jīng)元j的空間整合性，而未考慮時(shí)間整合，當(dāng)時(shí)，神經(jīng)元才能被激活。上式還可表示為權(quán)重向量和輸入向量的點(diǎn)積：其中和均為列向量，定義為：如果令，則有，因此凈輸入與閾值之差可表達(dá)為：綜合以上各式，神經(jīng)元模型可簡化為：5、神經(jīng)元的轉(zhuǎn)移函數(shù)(1)閾值型轉(zhuǎn)移函數(shù)(M-P模型) 處理離散信號單極性閾值型轉(zhuǎn)移函數(shù) 單位階躍函數(shù)雙極性閾值型轉(zhuǎn)移函數(shù) sgn(x)(2)

3、非線性轉(zhuǎn)移函數(shù)（單極性/雙極性Sigmoid函數(shù)曲線）實(shí)數(shù)域R到0,1閉集的非減性連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。(3)分段線性轉(zhuǎn)移函數(shù)（偽線性函數(shù)）(4)概率型轉(zhuǎn)移函數(shù)6、人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元常稱為節(jié)點(diǎn)或處理單元，每個(gè)節(jié)點(diǎn)均具有相同的結(jié)構(gòu)其動(dòng)作在時(shí)間和空間上均同步。人工神經(jīng)網(wǎng)絡(luò)模型分類方法：按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)和按網(wǎng)絡(luò)內(nèi)部的信息流向分類。神經(jīng)元之間的連接方式不同，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也不同。根據(jù)神經(jīng)元之間的連接方式，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為：(1) 層次型結(jié)構(gòu)a.單純型層次網(wǎng)絡(luò)結(jié)構(gòu)b.輸出層到輸入層有連接的層次網(wǎng)絡(luò)結(jié)構(gòu)c.層內(nèi)有互連的層次網(wǎng)絡(luò)結(jié)構(gòu)(2) 互連型結(jié)構(gòu) a.全互連型

4、b.局部互連型c.稀疏連接型 網(wǎng)絡(luò)中的節(jié)點(diǎn)只與少數(shù)相距較遠(yuǎn)的節(jié)點(diǎn)相連。根據(jù)網(wǎng)絡(luò)內(nèi)部的信息流向，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為：(1)前饋型網(wǎng)絡(luò)單層前饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與單純型層次網(wǎng)絡(luò)結(jié)構(gòu)完全相同。從信息處理能力來看，網(wǎng)絡(luò)中的節(jié)點(diǎn)可分為兩種：一種是輸入節(jié)點(diǎn)，只負(fù)責(zé)從外界引入信息后向前傳遞給第一隱層；另一種是具有處理能力的節(jié)點(diǎn)，包括各隱層和輸出層節(jié)點(diǎn)。前饋網(wǎng)絡(luò)中除輸出層外，任一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進(jìn)行的方向性，一般不存在反饋環(huán)路。因此，這類網(wǎng)絡(luò)很容易串聯(lián)起來建立多層前饋網(wǎng)絡(luò)。多層前饋網(wǎng)絡(luò)可用一個(gè)有向無環(huán)路的圖表示，如圖1所示。其中輸入層常記為網(wǎng)絡(luò)的第一層，第一個(gè)隱層記為網(wǎng)絡(luò)的第二層

5、，其余類推。網(wǎng)絡(luò)除輸入節(jié)點(diǎn)外，有一層或多層的隱含層節(jié)點(diǎn)，同層節(jié)點(diǎn)間無任何連接。由于同層節(jié)點(diǎn)間無任何耦合，故每一層節(jié)點(diǎn)的輸出只影響下一層節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)表示單個(gè)神經(jīng)元，其對應(yīng)的函數(shù)常為 Sigmoid 型函數(shù)，有時(shí)輸出層節(jié)點(diǎn)取線性函數(shù)。電影網(wǎng)圖1 前饋型網(wǎng)絡(luò)所以，當(dāng)提到具有單層計(jì)算神經(jīng)元的網(wǎng)絡(luò)時(shí)，指的應(yīng)該是一個(gè)兩層前饋網(wǎng)絡(luò)（輸入層和輸出層）；當(dāng)提到具有單隱層的網(wǎng)絡(luò)時(shí)，指的應(yīng)該是一個(gè)三層前饋網(wǎng)絡(luò)（輸入層、隱層和輸出層）。(2)反饋型網(wǎng)絡(luò)單純反饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與全互連型網(wǎng)絡(luò)結(jié)構(gòu)完全相同，稱為反饋網(wǎng)絡(luò)是指其信息流向的特點(diǎn)。在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都居于信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又

6、可以向外界輸出。其中也包括神經(jīng)元射出信號引回到本身輸入構(gòu)成的自環(huán)反饋。如圖 2所示，它可以畫成無向圖，其中每個(gè)連接線都是雙向的。圖2 反饋型網(wǎng)絡(luò)7、人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法有很多，根據(jù)一種廣泛采用的分類方法，可將人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法歸納為：(1)有導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)也稱為監(jiān)督學(xué)習(xí)，這種學(xué)習(xí)模式采用的是糾錯(cuò)規(guī)則。在學(xué)習(xí)訓(xùn)練過程中需要不斷給網(wǎng)絡(luò)成對提供一個(gè)輸入模式和一個(gè)期望網(wǎng)絡(luò)正確輸出的模式，稱為“教師信號”。將神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出同期望輸出進(jìn)行比較，當(dāng)網(wǎng)絡(luò)的輸出與期望的教師信號不符時(shí)，根據(jù)差錯(cuò)的方向和大小按一定的規(guī)則調(diào)整權(quán)值，以使下一步網(wǎng)絡(luò)輸出更接近期望結(jié)果。(2)無導(dǎo)師學(xué)習(xí) 無

7、導(dǎo)師學(xué)習(xí)也稱為無監(jiān)督學(xué)習(xí)，在學(xué)習(xí)過程中，需要不斷地給網(wǎng)絡(luò)提供動(dòng)態(tài)輸入信息，網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時(shí)能根據(jù)王安利的功能和輸入信息調(diào)整權(quán)值，這個(gè)過程稱為網(wǎng)絡(luò)的自組織，其結(jié)果是使網(wǎng)絡(luò)能對屬于同一類的模式進(jìn)行自動(dòng)分類。在這種學(xué)習(xí)模式中，網(wǎng)絡(luò)的權(quán)值調(diào)整不取決于外來教師信號的影響，可以認(rèn)為網(wǎng)絡(luò)的學(xué)習(xí)評價(jià)標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)的內(nèi)部。網(wǎng)絡(luò)的運(yùn)行一般分為訓(xùn)練和工作兩個(gè)階段。訓(xùn)練的目的是為了從訓(xùn)練數(shù)據(jù)中提取隱含的知識和規(guī)律，并存儲于網(wǎng)絡(luò)中供工作階段使用?？梢哉J(rèn)為一個(gè)神經(jīng)元是一個(gè)自適應(yīng)單元，其權(quán)值可以根據(jù)它所接受的輸入信號、它的輸出信號以及對應(yīng)的監(jiān)督信號進(jìn)行調(diào)整。不同的神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的學(xué)習(xí)規(guī)則對學(xué)習(xí)信號有不同的定義，從而