神經(jīng)網(wǎng)絡以及在數(shù)學建模上的應用

1、 人工神經(jīng)網(wǎng)絡及在數(shù)學建模上的應用 神經(jīng)元與網(wǎng)絡結(jié)構(gòu) 生物神經(jīng)元及生物神經(jīng)網(wǎng)絡 人腦大約由1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡 神經(jīng)元是大腦處理信息的基本單元，以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。 生物神經(jīng)元示意圖 從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學物質(zhì)。 突觸有兩種：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后

2、者產(chǎn)生負突觸后電位。 突觸傳遞信息的功能和特點歸納為： 信息傳遞有時延，一般為0.3lms。信息的綜合有時間累加和空間累加。 突觸有興奮性和抑制性兩種類型。 具有脈沖電位信號轉(zhuǎn)換功能。 神經(jīng)纖維傳導的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1150ms之間 存在不應期。 不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞。 可塑性，突觸傳遞信息的強度是可變的，即具有學習功能。 存在遺忘或疲勞效應。人腦神經(jīng)網(wǎng)絡系統(tǒng)腦神經(jīng)系統(tǒng)的主要組成部分 人腦神經(jīng)網(wǎng)絡信息處理的特點1分布存儲與冗余性 2并行處理 3信息處理與存儲合一 4可塑性與自組織性 5魯棒性 人工神經(jīng)網(wǎng)絡 神經(jīng)網(wǎng)絡直觀理解 神經(jīng)網(wǎng)絡是一個并行和分布

3、式的信息處理網(wǎng)絡結(jié)構(gòu)，它一般由許多個神經(jīng)元組成，每個神經(jīng)元只有一個輸出，它可以連接到很多其他的神經(jīng)元，每個神經(jīng)元輸入有多個連接通道，每個連接通道對應于一個連接權(quán)系數(shù)。 人工神經(jīng)元模型 歸納一下生物神經(jīng)元傳遞信息的過程： 生物神經(jīng)元是一個多輸入、單輸出單元。常用的人工神經(jīng)元模型可用下圖模擬。 人工神經(jīng)元模型 響應函數(shù)的基本作用：1、控制輸入對輸出的激活作用；2、對輸入、輸出進行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。 響應函數(shù)： 1、閾值函數(shù) 2、線性函數(shù)3、非線性函數(shù)：Sigmoid函數(shù) 人工神經(jīng)網(wǎng)絡的構(gòu)成 神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡的特性及能力主要取決于網(wǎng)絡的拓

4、撲結(jié)構(gòu)及學習方法。 人工神經(jīng)網(wǎng)絡連接的幾種基本形式：1前向網(wǎng)絡 網(wǎng)絡中的神經(jīng)元是分層排列的，每個神經(jīng)元只與前一層的神經(jīng)元相連接。 2從輸出到輸入有反饋的前向網(wǎng)絡 3層內(nèi)互連前向網(wǎng)絡 4互連網(wǎng)絡 圖35 神經(jīng)網(wǎng)絡的典型結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡的訓練人工神經(jīng)網(wǎng)絡的訓練 人工神經(jīng)網(wǎng)絡最具有吸引力的特點是它人工神經(jīng)網(wǎng)絡最具有吸引力的特點是它的學習能力。的學習能力。1962年，年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡給出了人工神經(jīng)網(wǎng)絡著名的學習定理：人工神經(jīng)網(wǎng)絡可以學著名的學習定理：人工神經(jīng)網(wǎng)絡可以學會它可以表達的任何東西。會它可以表達的任何東西。人工神經(jīng)網(wǎng)絡的表達能力大大地限制了人工神經(jīng)網(wǎng)絡的表達能力大大

5、地限制了它的學習能力。它的學習能力。人工神經(jīng)網(wǎng)絡的學習過程就是對它的訓人工神經(jīng)網(wǎng)絡的學習過程就是對它的訓練過程練過程無導師學習無導師學習 無導師學習無導師學習(Unsupervised Learning)與無與無導師訓練導師訓練(Unsupervised Training)相對應相對應 抽取樣本集合中蘊含的統(tǒng)計特性抽取樣本集合中蘊含的統(tǒng)計特性，并以，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡中。神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡中。無導師學習無導師學習Hebb學習律、競爭與協(xié)同（學習律、競爭與協(xié)同（Competitive and Cooperative）學習、隨機聯(lián)接系統(tǒng)學習、隨機聯(lián)接系統(tǒng)（Rando

6、mly Connected Learning）等。等。Hebb算法算法D. O. Hebb在在1961年年的核心：的核心：當兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加當兩個神經(jīng)元同時處于激發(fā)狀態(tài)時被加強，否則被減弱。強，否則被減弱。數(shù)學表達式表示：數(shù)學表達式表示： Wij（t+1）=Wij（t）+oi（t）oj（t）2.5.2 有導師學習有導師學習 有導師學習有導師學習(Supervised Learning)與有導師訓與有導師訓練練(Supervised Training)相對應。相對應。輸入向量與其對應的輸出向量構(gòu)成一個輸入向量與其對應的輸出向量構(gòu)成一個“訓練訓練對對”。有導師學習的訓練算法的主要步

7、驟包括：有導師學習的訓練算法的主要步驟包括：1） 從樣本集合中取一個樣本（從樣本集合中取一個樣本（Ai，Bi）；）；2） 計算出網(wǎng)絡的實際輸出計算出網(wǎng)絡的實際輸出O； 3） 求求D=Bi-O；4） 根據(jù)根據(jù)D調(diào)整權(quán)矩陣調(diào)整權(quán)矩陣W； 5 5） 對每個樣本重復上述過程，直到對整個樣本集對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。來說，誤差不超過規(guī)定范圍。 Delta規(guī)則規(guī)則 Widrow和和Hoff的寫法的寫法：Wij( (t+1) )=Wij( (t) )+( (yj- aj( (t)oi( (t) )也可以寫成：也可以寫成：Wij( (t+1) )=Wij( (t) )+ Wij( (t) ) Wij(t(t) )=joi(t(t) )j=yj- aj(t(t) )Grossberg的寫法為：的寫法為： Wij(t(t)=)=aai i(t)(o(t)(oj j(t)-W(t)-Wijij(t(t)更一般的更一般的Delta規(guī)則為：規(guī)則為： Wij( (t) )=g( (ai(t)，yj，oj( (t) )，Wij( (t)其它其它再例學習