反饋型神經網(wǎng)絡

反饋型神經網(wǎng)絡第1頁/共97頁1.前饋型與反饋型神經網(wǎng)絡的比較

(1)前饋型神經網(wǎng)絡只表達輸入輸出之間的映射關系，實現(xiàn)非線性映射；反饋型神經網(wǎng)絡考慮輸入輸出之間在時間上的延遲，需要用動態(tài)方程來描述，反饋型神經網(wǎng)絡是一個非線性動力學系統(tǒng)。(2)前饋型神經網(wǎng)絡的學習訓練主要采用BP算法，計算過程和收斂速度比較慢；反饋型神經網(wǎng)絡的學習主要采用Hebb規(guī)則，一般情況下計算的收斂速度很快，并且它與電子電路有明顯的對應關系，使得網(wǎng)絡易于用硬件實現(xiàn)。

(3)前饋型神經網(wǎng)絡學習訓練的目的是快速收斂，一般用誤差函數(shù)來判定其收斂程度；反饋型神經網(wǎng)絡的學習目的是快速尋找到穩(wěn)定點，一般用能量函數(shù)來判別是否趨于穩(wěn)定點。

(4)兩者都有局部極小問題。第2頁/共97頁2.反饋型神經網(wǎng)絡模型一、網(wǎng)絡結構

單層全反饋型神經網(wǎng)絡結構輸入輸出關系為：第3頁/共97頁2.反饋型神經網(wǎng)絡模型二、網(wǎng)絡狀態(tài)

(1)軌跡經過一段時間t(t>0)后不會再延伸，而永遠停留在X(t0+t)狀態(tài)，這時稱網(wǎng)絡收斂到一個穩(wěn)定點或平衡點。在一個反饋網(wǎng)絡中，可能存在有多個穩(wěn)定點，根據(jù)不同的情況，這些穩(wěn)定點可分為：①漸近穩(wěn)定點Xe②不穩(wěn)定的平衡點Xf

③網(wǎng)絡的偽穩(wěn)定點

(2)軌跡為環(huán)狀，稱為極限環(huán)。

(3)如果X(t)的軌跡在某個確定的范圍內變化，但既不重復又不能停下來，狀態(tài)變化為無窮多個，而軌跡也不發(fā)散到無窮遠，這種現(xiàn)象成為混沌（Chaos）.(4)如果X(t)的軌跡隨時間一直延伸到無窮遠，此時狀態(tài)發(fā)散，而系統(tǒng)的輸出也發(fā)散。第4頁/共97頁2.反饋型神經網(wǎng)絡模型

三、網(wǎng)絡的設計要求

(1)網(wǎng)絡的穩(wěn)定性

(2)網(wǎng)絡的穩(wěn)定點

(3)穩(wěn)定點的吸引域第5頁/共97頁霍普菲爾德（Hopfield）神經網(wǎng)絡美國加州理工學院物理學家J.J.Hopfield教授于1982年提出一種單層反饋神經網(wǎng)絡，后來人們將這種反饋網(wǎng)絡稱作Hopfield網(wǎng)。Hopfield網(wǎng)絡是單層對稱全反饋網(wǎng)絡，根據(jù)激活函數(shù)選取的不同，可分為離散型（DHNN）和連續(xù)性（CHNN）兩種。DHNN：作用函數(shù)為hadlim，主要用于聯(lián)想記憶。CHNN：作用函數(shù)為S型函數(shù)，主要用于優(yōu)化計算。第6頁/共97頁離散型的Hopfield神經網(wǎng)絡1、網(wǎng)絡結構2、網(wǎng)絡的工作方式3、網(wǎng)絡的穩(wěn)定性分析4、DHNN網(wǎng)絡設計第7頁/共97頁離散型Hopfield神經網(wǎng)絡模型一、網(wǎng)絡結構DHNN的結構是一個單層結構的全反饋網(wǎng)絡，有n個節(jié)點，W是一個n×n的對稱零對角權值矩陣，θ為n維閾值向量。DHNN網(wǎng)中的每個神經元都有相同的功能，其輸出稱為狀態(tài)，用xj表示。所有神經元狀態(tài)的集合就構成反饋網(wǎng)絡的狀態(tài)：X=[x1,x2,…,xn]T

反饋網(wǎng)絡的輸入就是網(wǎng)絡的狀態(tài)初始值，表示為：X(0)=[x1(0),x2(0),…,xn(0)]T第8頁/共97頁離散型Hopfield神經網(wǎng)絡模型j=1,2,…,nDHNN網(wǎng)的轉移函數(shù)常采用符號函數(shù)

式中凈輸入為

j=1,2,…,n對于DHNN網(wǎng)，一般有wii=0，wij=wji。

反饋網(wǎng)絡穩(wěn)定時每個神經元的狀態(tài)都不再改變，此時的穩(wěn)定狀態(tài)就是網(wǎng)絡的輸出，表示為

第9頁/共97頁離散型Hopfield神經網(wǎng)絡模型二、網(wǎng)絡的工作方式(1)串行（異步）工作方式任一時刻t，只有某一個節(jié)點i(隨機地或確定性地選擇)變化，而其余n-1個節(jié)點的狀態(tài)保持不變，即：(2)并行（同步）工作方式任一時刻t，所有的節(jié)點或部分節(jié)點改變狀態(tài)，即：

第10頁/共97頁離散型Hopfield神經網(wǎng)絡模型

三、網(wǎng)絡的穩(wěn)定性分析（1）網(wǎng)絡的狀態(tài)穩(wěn)定：若網(wǎng)絡從一個初態(tài)X(t0)出發(fā)，經過一個有限時刻t，網(wǎng)絡的狀態(tài)不再發(fā)生變化，即：

則稱網(wǎng)絡是穩(wěn)定的，這時所有的節(jié)點輸出不再變化，網(wǎng)絡穩(wěn)定在某一狀態(tài)。如果網(wǎng)絡是穩(wěn)定的，它可以從任一初態(tài)收斂到一個穩(wěn)態(tài)。

第11頁/共97頁離散型Hopfield神經網(wǎng)絡模型有限環(huán)：若網(wǎng)絡是不穩(wěn)定的，由于DHNN網(wǎng)每個節(jié)點的狀態(tài)只有1和-1兩種情況，網(wǎng)絡不可能出現(xiàn)無限發(fā)散的情況，而只可能出現(xiàn)限幅的自持振蕩，這種網(wǎng)絡稱為有限環(huán)網(wǎng)絡?；煦纾喝绻W(wǎng)絡狀態(tài)的軌跡在某個確定的范圍內變遷，但既不重復也不停止，狀態(tài)變化為無窮多個，軌跡也不發(fā)散到無窮遠，這種現(xiàn)象稱為混沌。第12頁/共97頁離散型Hopfield神經網(wǎng)絡模型網(wǎng)絡達到穩(wěn)定時的狀態(tài)X，稱為網(wǎng)絡的吸引子。如果把問題的解編碼為網(wǎng)絡的吸引子，從初態(tài)向吸引子演變的過程便是求解計算的過程。若把需記憶的樣本信息存儲于網(wǎng)絡不同的吸引子，當輸入含有部分記憶信息的樣本時，網(wǎng)絡的演變過程便是從部分信息尋找全部信息，即聯(lián)想回憶的過程。定義：若網(wǎng)絡的狀態(tài)X滿足X=f(net)=f(WX-T)則稱X為網(wǎng)絡的吸引子。第13頁/共97頁離散型Hopfield神經網(wǎng)絡模型（2）穩(wěn)定性定理定理1：當網(wǎng)絡工作在異步方式下，滿足wij=wji，wii=0，i、j=1,2,…,n，則能量函數(shù)單調下降，且網(wǎng)絡必定穩(wěn)定。定理5.1證明：定義網(wǎng)絡的能量函數(shù)為：令網(wǎng)絡的能量改變量為ΔE，狀態(tài)改變量為ΔX，有

第14頁/共97頁離散型Hopfield神經網(wǎng)絡模型將代入上式，并考慮到W為對稱矩陣，有

第15頁/共97頁離散型Hopfield神經網(wǎng)絡模型對于DHNN網(wǎng)絡的任一個節(jié)點i，能量函數(shù)的變化可能有以下幾種情況：因此,網(wǎng)絡無論在什么條件下都能保證△E≤0，這樣就保證了網(wǎng)絡的穩(wěn)定性和收斂性。第16頁/共97頁離散型Hopfield神經網(wǎng)絡模型由于網(wǎng)絡中各節(jié)點的狀態(tài)只能取1或–1，能量函數(shù)E(t)作為網(wǎng)絡狀態(tài)的函數(shù)是有下界的，因此網(wǎng)絡能量函數(shù)最終將收斂于一個常數(shù)，此時ΔE(t)=0。綜上所述，當網(wǎng)絡工作方式和權矩陣均滿足定理1的條件時，網(wǎng)絡最終將收斂到一個吸引子。定理2：當網(wǎng)絡工作在異步方式下，滿足wij=wji，i、j=1,2,…,n，則能量函數(shù)單調下降，且網(wǎng)絡必定穩(wěn)定。第17頁/共97頁離散型Hopfield神經網(wǎng)絡模型定理3：當網(wǎng)絡工作在并行方式下，滿足wij=wji，則網(wǎng)絡或者收斂于一個穩(wěn)定點，或者收斂于極限環(huán)為2的一個周期解。證明：在并行工作方式時，其能量函數(shù)可以用下式表示：第18頁/共97頁離散型Hopfield神經網(wǎng)絡模型第19頁/共97頁離散型Hopfield神經網(wǎng)絡模型由于在NET(t)中的每個分量NETi(t)與在X(t+1)中每個分量Xi(t+1)同號，因而成立。所以△E≤0。現(xiàn)在考慮在穩(wěn)定點的情況，即△E=0的情況：若X(t)=X(t+1)=X(t-1)，則△E=0，且網(wǎng)絡達到穩(wěn)定。若X(t)≠X(t+1)=X(t-1)，則△E=0，且網(wǎng)絡到達周期為2的極限環(huán)。證畢。第20頁/共97頁離散型Hopfield神經網(wǎng)絡模型推論：

(1)如果W為一個正定矩陣，Ti=0、對所有的i成立，則：

網(wǎng)絡必定達到穩(wěn)定收斂。

(2)如果W為一個負定矩陣，Ti=0、對所有的i成立，則：

網(wǎng)絡周期振蕩，極限環(huán)為2。第21頁/共97頁離散型Hopfield神經網(wǎng)絡模型以上分析表明，在網(wǎng)絡從初態(tài)向穩(wěn)態(tài)演變的過程中，網(wǎng)絡的能量始終向減小的方向演變，當能量最終穩(wěn)定于一個常數(shù)時，該常數(shù)對應于網(wǎng)絡能量的極小狀態(tài)，稱該極小狀態(tài)為網(wǎng)絡的能量井，能量井對應于網(wǎng)絡的吸引子。性質1：若X是網(wǎng)絡的一個吸引子，且閾值T=0，在sgn(0)處，xj(t+1)=xj(t)，則－X也一定是該網(wǎng)絡的吸引子。證明：∵X是吸引子，即X=f(WX)，從而有

f[W(－X)]=f[－WX]=－f[WX]=－X∴－X也是該網(wǎng)絡的吸引子。第22頁/共97頁離散型Hopfield神經網(wǎng)絡模型性質2：若Xa是網(wǎng)絡的一個吸引子，則與Xa的海明距離dH(Xa，Xb)=1的Xb一定不是吸引子。證明：不妨設x1a≠x1b，xja=xjb，j=2,3,…,n。∵w11=0，由吸引子定義，有由假設條件知，x1a≠x1b，故∴-Xb

不是該網(wǎng)絡的吸引子。

第23頁/共97頁離散型Hopfield神經網(wǎng)絡模型能使網(wǎng)絡穩(wěn)定在同一吸引子的所有初態(tài)的集合，稱為該吸引子的吸引域。定義2若Xa是吸引子，對于異步方式，若存在一個調整次序，使網(wǎng)絡可以從狀態(tài)X演變到Xa

，則稱X弱吸引到Xa；若對于任意調整次序，網(wǎng)絡都可以從狀態(tài)X演變到Xa，則稱X強吸引到Xa。定義3若對某些X，有X弱吸引到吸引子Xa，則稱這些X的集合為Xa的弱吸引域；若對某些X，有X強吸引到吸引子Xa，則稱這些X的集合為Xa的強吸引域。第24頁/共97頁離散型Hopfield神經網(wǎng)絡模型例.1設有3節(jié)點DHNN網(wǎng)，用無向圖表示如下，權值與閾值均已標在圖中，試計算網(wǎng)絡演變過程的狀態(tài)。

x1-0.1

-0.50.2

x20.00.60.0x3

第25頁/共97頁離散型Hopfield神經網(wǎng)絡模型解：設各節(jié)點狀態(tài)取值為1或0，3節(jié)點DHNN網(wǎng)絡應有23=8種狀態(tài)。不妨將X=(x1,x2,x3),T=(0,0,0)T作為網(wǎng)絡初態(tài)，按1→2→3的次序更新狀態(tài)。第1步：更新x1，x1=sgn[(-0.5)0+0.20－(-0.1)]=sgn(0.1)=1其它節(jié)點狀態(tài)不變，網(wǎng)絡狀態(tài)由(0,0,0)T變成(1,0,0)T。如果先更新x2或x3，網(wǎng)絡狀態(tài)將仍為(0,0,0)T，因此初態(tài)保持不變的概率為2/3，而變?yōu)?1,0,0)T的概率為1/3。第2步：此時網(wǎng)絡狀態(tài)為(1,0,0)T，更新x2后，得x2=sgn[(-0.5)1+0.60－0]=sgn(-0.5)=0其它節(jié)點狀態(tài)不變，網(wǎng)絡狀態(tài)仍為(1,0,0)T。如果本步先更新x1或x3，網(wǎng)絡相應狀態(tài)將為(1,0,0)T和(1,0,1)T，因此本狀態(tài)保持不變的概率為2/3，而變?yōu)?1,0,1)T的概率為1/3。第3步：此時網(wǎng)絡狀態(tài)為(1,0,0)T，更新x3得

x3=sgn[0.21+0.60－0]=sgn(0.2)=1同理可算出其它狀態(tài)之間的演變歷程和狀態(tài)轉移概率。第26頁/共97頁離散型Hopfield神經網(wǎng)絡模型

從這個例子，可以看出兩個顯著的特征：

(1)狀態(tài)(011）是一個滿足前面定義的穩(wěn)定狀態(tài)。

(2)從任意初始狀態(tài)開始，網(wǎng)絡經過有限次狀態(tài)更新后，都將到達該穩(wěn)定狀態(tài)。DHNN網(wǎng)絡狀態(tài)演變示意圖

第27頁/共97頁HNN的聯(lián)想記憶所謂聯(lián)想可以理解為從一種事物聯(lián)系到與其相關的事物的過程.日常生活中,從一種事物出發(fā),人們會非常自然地聯(lián)想到與該事物密切相關或有因果關系的種種事務.兩種聯(lián)想形式自聯(lián)想(Auto-association):由某種代表事物(或該事物的主要特征,或部分主要特征)聯(lián)想到其所標示的實際事物。從英文字頭“Newt”聯(lián)想到“Newton”。聽到歌曲的一部分可以聯(lián)想起整個曲子。第28頁/共97頁HNN的聯(lián)想記憶異聯(lián)想(他聯(lián)想)(Hetero-association):由一種事物(或該事物的主要特征,或部分主要特征)聯(lián)想到與其密切相關的另一事物。從質能關系式E=mc2聯(lián)想到其發(fā)明者愛因斯坦?？吹侥橙说拿謺?lián)想起他的相貌和特點。人腦從一種事物得到對應事物的兩種途徑按時間順序對相關事物進行思考可通過時間表來回憶某一階段所做的工作.通過事物本質特征的對比來確定事物的屬性由提示信息或局部信息對事物進行回憶或確認.第29頁/共97頁HNN的聯(lián)想記憶HNN的一個功能是可用于聯(lián)想記憶,也即是聯(lián)想存儲器.這是人類的智能特點之一.人類的所謂“觸景生情”就是見到一些類同過去接觸的景物,容易產生對過去情景的回昧和思憶.對于HNN,用它作聯(lián)想記憶時,首先通過一個學習訓練過程確定網(wǎng)絡中的權系數(shù),使所記憶的信息在網(wǎng)絡的n維超立方體的某一個頂角的能量最小.當網(wǎng)絡的權系數(shù)確定之后,只要向網(wǎng)絡給出輸入向量,這個向量可能是局部數(shù)據(jù).即不完全或部分不正確的數(shù)據(jù),但是網(wǎng)絡仍然產生所記憶的信息的完整輸出.第30頁/共97頁HNN的聯(lián)想記憶1984年Hopfield提出一種用n維HNN作聯(lián)想存儲器的結構.HNN聯(lián)想存儲器的主要思想為:根據(jù)欲存儲的信息的表示形式和維數(shù),設計相應的HNN結構將欲存儲的信息設計為HNN的動力學過程的已知的漸近穩(wěn)定平衡點通過學習和設計算法尋求合適的權值矩陣將穩(wěn)定狀態(tài)存儲到網(wǎng)絡中第31頁/共97頁離散型Hopfield神經網(wǎng)絡模型4.DHNN網(wǎng)絡設計用DHNN實現(xiàn)聯(lián)想記憶需要考慮兩個重要的問題：①怎樣按記憶確定網(wǎng)絡的W和；②網(wǎng)絡給定之后如何分析它的記憶容量。為了使所設計的權值滿足要求，權值矩陣應符合以下要求：⑴為保證異步方式工作時網(wǎng)絡收斂，W應為對稱陣；⑵為保證同步方式工作時網(wǎng)絡收斂，W應為非負定對稱陣；⑶保證給定樣本是網(wǎng)絡的吸引子，并且要有一定的吸引域。下面將分別討論。

權值設計的方法記憶容量分析

權值修正的其它方法第32頁/共97頁離散型Hopfield神經網(wǎng)絡模型

(1)權值設計的方法權值設計的方法有外積法、偽逆法、正交設計法等。外積型網(wǎng)絡權值的學習方法網(wǎng)絡待記憶的學習樣本有N個，XK,K=1,2,…,N，XK∈Rn，其每個分量為XiK，i=1,2,…,n，利用已知需要存儲的樣本來設計n個節(jié)點間的連接權值，如節(jié)點i和j間的連接權值為：第33頁/共97頁離散型Hopfield神經網(wǎng)絡模型若取wjj=0，上式應寫為

式中I為單位矩陣。上式寫成分量元素形式，有

下面檢驗所給樣本能否稱為吸引子。

因為P個樣本Xp，p=1,2,…,P，x{-1,1}n是兩兩正交的，有

第34頁/共97頁離散型Hopfield神經網(wǎng)絡模型因為n>P，所以有

可見給定樣本Xp，p=1,2,…,P是吸引子。

第35頁/共97頁離散型Hopfield神經網(wǎng)絡模型如果N個樣本XK，K=1,2,…,N，不是兩兩正交，其連接權值依據(jù)Hebb規(guī)則求得，在N個樣本中任選一個樣本XK作為初始輸入：通過上式可求得新的輸出XK’=sgn(WXK)，取XK’的第j個分量：第36頁/共97頁離散型Hopfield神經網(wǎng)絡模型式中

設nj為零均值的隨機變量，Xik,Xjk{1,-1}，而nj的方差2=(N-1)n,。對于非正交的學習樣本，如果滿足，則網(wǎng)絡仍可收斂到其記憶樣本上第37頁/共97頁設樣本維數(shù)為n，樣本個數(shù)為N，則根據(jù)Hebb規(guī)則設計的DHNN，實現(xiàn)樣本均為吸引子的充分條件（樣本應滿足的條件）為：（1）若N個樣本兩兩正交，則充分條件為（2）若m個樣本不是兩兩正交，則為四、DHNN的聯(lián)想記憶功能與權值設計第38頁/共97頁[例]對于一個4神經元的網(wǎng)絡，取閾值為0。給定兩個模式存貯于網(wǎng)絡之中

m1：V(1)＝[v1,v2,v3,v4]＝[1,1,1,1]m2：V(2)＝[v1,v2,v3,v4]＝[-1,-1,-1,-1]計算可得權矩陣：給出用于聯(lián)想的原始模式：mA

：V(A)＝[1,1,-1,1]運行網(wǎng)絡得到穩(wěn)定狀態(tài)V(1)＝[1,1,1,1]，這個穩(wěn)定狀態(tài)正好是網(wǎng)絡已記憶的模式m1由此可以認為A是由模式mA聯(lián)想起來的。如聯(lián)想模式為：mB：V(B)＝[-1,-1,-1,1]則得到另一穩(wěn)定狀態(tài):V(2)＝[-1,-1,-1,-1]，即模式m2第39頁/共97頁(2)偽逆法[]()()求出權矩陣滿秩，其逆存在，則可線性無關的，則如果樣本之間是為偽逆，有其中由此可得輸入輸出之間用權值W來映射，則有設輸入樣本W(wǎng)XXXXXXXNWNYXWNXXXXTTTN,

sgn,

121-****===*==LX第40頁/共97頁(3)正交化的權值設計1)保證系統(tǒng)在異步工作時的穩(wěn)定性；2)保證所有要求記憶的穩(wěn)定平衡點都能收斂到自己；3)使偽穩(wěn)定點（網(wǎng)絡最終穩(wěn)定到一個漸近穩(wěn)定點上，但這個穩(wěn)定點不是網(wǎng)絡設計所要求的解）的數(shù)目盡可能的少；4)使穩(wěn)定點的吸引域盡可能的大。四、DHNN的聯(lián)想記憶功能與權值設計第41頁/共97頁

設給定m個樣本向量x(k)=(k=1,2,…,m)，首先組成如下的n×

(m-1)階矩陣對A進行奇異值分解U是nn正交陣，V是(m-1)×(m-1)

正交陣。(3)正交化的權值設計第42頁/共97頁則u1,u2,…,ur

是對應于非零奇異值σ1,σ2,…,σr

的左奇異向量，且組成了A的值域空間的正交基；ur+1,…,un

是

A的值域的正交補空間的正交基。

按如下方法組成連接權矩陣W和閾值向量b。U可表示成(3)正交化的權值設計所設計出的平衡穩(wěn)定點能夠保證收斂到自己并且有較大的穩(wěn)定域。第43頁/共97頁DHNN的權值設計及網(wǎng)絡工作過程示例例1采用Hebb規(guī)則，設計離散Hopfield網(wǎng)絡，判斷樣本是否均為吸引子，并考察這兩個吸引子的吸引能力。

兩個樣本為第44頁/共97頁解1）求連接權矩陣DHNN的權值設計及網(wǎng)絡工作過程示例第45頁/共97頁可見，兩個樣本均為網(wǎng)絡的吸引子。不滿足前面給出的充分條件，是否為吸引子需具體加以檢驗：2）判斷樣本是否為吸引子

兩個樣本不正交，根據(jù)第二種情況判斷第46頁/共97頁3）考察兩個吸引子的吸引能力（聯(lián)想記憶的功能)

顯然它比較接近x(1),用異步方式按1,2,3,4的調整次序來演變網(wǎng)絡：(1)可見，只需異步方式調整一步既收斂到x(1)

。即第47頁/共97頁3）考察兩個吸引子的吸引能力（聯(lián)想記憶的功能)

顯然它比較接近x(2),用異步方式按1,2,3,4的調整次序來演變網(wǎng)絡：(2)可見，只需異步方式調整一步既收斂到x(2)

。即第48頁/共97頁(3)可見，此時x(5)收斂到x(2)

。即

它與x(1)

和x(2)

的海明距離（兩個向量不相同元素的個數(shù)）均為2。若按1,2,3,4的調整次序調整網(wǎng)絡可得即第49頁/共97頁若按3,4,1,2的調整次序調整網(wǎng)絡可得即即可見，此時x(5)收斂到x(1)

。第50頁/共97頁下面對該例應用同步方式進行計算，仍取x(0)為x(3)，x(4)，

x(5)

三種情況。(1)可見，x(3)收斂到x(1)

。第51頁/共97頁(2)可見，x(4)收斂到x(2)

。第52頁/共97頁(3)

可見，它將在兩個狀態(tài)間跳躍，產生極限環(huán)為2的自持振蕩。若根據(jù)前面的穩(wěn)定性分析，由于此時連接權矩陣W不是非負定陣，所以出現(xiàn)了振蕩。

第53頁/共97頁離散型Hopfield神經網(wǎng)絡模型2.記憶容量分析記憶容量是指在網(wǎng)絡結構參數(shù)一定條件下，保證聯(lián)想記憶功能正確實現(xiàn)，網(wǎng)絡所能存儲的最大樣本數(shù)。當網(wǎng)絡規(guī)模一定時，所能記憶的模式是有限的。聯(lián)想記憶的原理

(1)自聯(lián)想記憶(Auto-AM)設在學習過程中存入N個樣本XK，K=1,2,…,N，若輸入X’=XK+V，其中XK是N個樣本之一，V是偏差項（可能是噪聲、圖形的缺損或畸變等），要求輸出為Y=XK，即使之復原。

(2)他聯(lián)想記憶（Hetero-AM）規(guī)定兩組樣本之間有一定的對應關系XK→YK,K=1,2,…,N，例如，XK代表某人的照片，YK代表某人的姓名。使用時，若輸入X’=XK+V，要求輸出為Y=YK。當網(wǎng)絡只記憶一個穩(wěn)定的模式時，該模式肯定被網(wǎng)絡準確無誤的記憶住。但當所要記憶的模式增加時，情況則發(fā)生了變化，主要表現(xiàn)在下列兩點上：(1)權值移動(2)交叉干擾第54頁/共97頁離散型Hopfield神經網(wǎng)絡模型(1)權值移動在網(wǎng)絡的學習過程中，網(wǎng)絡對權值的記憶實際上是逐個實現(xiàn)的。即對權值W，有程序:當網(wǎng)絡準確的X1時，為了記憶X2,需要在記憶樣本X1的權值上加上對樣本X2的記憶項X2X2T-I，將權值在原來值的基礎上產生了移動。這樣網(wǎng)絡有可能部分得遺忘了以前以記憶住的模式。()endIXXWWqkforWTKK-+===,10第55頁/共97頁離散型Hopfield神經網(wǎng)絡模型從動力學的角度來看，k值較小時，網(wǎng)絡Hebb學習規(guī)則，可以使輸入學習樣本成為其吸引子。隨著k值的增加，不但難以使后來的樣本成為網(wǎng)絡的吸引子，而且有可能使已記憶住的吸引子的吸引域變小，使原來處于吸引子位置上的樣本從吸引子的位置移動。對一記憶的樣本發(fā)生遺忘，這種現(xiàn)象稱為“疲勞”。(2)交叉干擾

網(wǎng)絡在學習多個樣本后，在回憶階段即驗證該記憶樣本時，所產生的干擾，稱為交叉干擾。對外積型設計而言，如果輸入樣本是彼此正交的，n個神經元的網(wǎng)絡其記憶容量的上界為n。但是在大多數(shù)情況下，學習樣本不可能是正交的，因而網(wǎng)絡的記憶容量要比n小得多，一般為(0.13~0.15)n，n為神經元數(shù)。第56頁/共97頁記憶容量問題例4.存儲如下記憶模式：若給出用于聯(lián)想的原始模式為：

m1:Y(1)=[y1,y2,y3,y4]=[-1,1,1,1],m2:Y(2)=[y1,y2,y3,y4]=[-1,-1,1,1],m3:Y(3)=[y1,y2,y3,y4]=[-1,1,1,-1].則其權矩陣為：第57頁/共97頁記憶容量問題給出聯(lián)想模式：

m3:Y(3)=[y1,y2,y3,y4]=[-1,1,1,-1].但網(wǎng)絡運行穩(wěn)定在模式

m1:Y(1)=[-1,1,1,1]而不是其自身模式m3。第58頁/共97頁連續(xù)性的Hopfield網(wǎng)絡CHNN是在DHNN的基礎上提出的，它的原理和DHNN相似。由于CHNN是以模擬量作為網(wǎng)絡的輸入輸出量，各神經元采用并行方式工作，所以它在信息處理的并行性、聯(lián)想性、實時性、分布存儲、協(xié)同性等方面比DHNN更接近于生物神經網(wǎng)絡。我們將從以下幾點來討論CHNN。1、網(wǎng)絡模型2、CHNN方程的解及穩(wěn)定性分析3、關于Hopfield能量函數(shù)的幾點說明4、關于CHNN的幾點結論第59頁/共97頁連續(xù)性的Hopfield網(wǎng)絡利用運算放大器實現(xiàn)的Hopfield動態(tài)神經元第60頁/共97頁連續(xù)性的Hopfield網(wǎng)絡連續(xù)型Hopfield網(wǎng)絡結構第61頁/共97頁連續(xù)性的Hopfield網(wǎng)絡1.CHNN的網(wǎng)絡模型對于Hopfield動態(tài)神經元模型，放大器的I/O關系可用如下的方程來描述：

第62頁/共97頁連續(xù)性的Hopfield網(wǎng)絡對上述方程變形得：第63頁/共97頁連續(xù)性的Hopfield網(wǎng)絡

2.CHNN方程的解及穩(wěn)定性分析對于CHNN來說，關心的同樣是穩(wěn)定性問題。在所有影響電路系統(tǒng)穩(wěn)定的所有參數(shù)中，一個比較特殊的參數(shù)值是放大器的放大倍數(shù)。從前面的分析中可以看出，當放大器的放大倍數(shù)足夠大時，網(wǎng)絡由連續(xù)性轉化成離散型，狀態(tài)與輸出之間的關系表現(xiàn)了激活函數(shù)的形狀，而正是激活函數(shù)代表了一個網(wǎng)絡的特點，所以，下面著重分析不同激活函數(shù)關系對系統(tǒng)的穩(wěn)定性的影響。1、激活函數(shù)為線性函數(shù)時2、激活函數(shù)為非線性函數(shù)時第64頁/共97頁連續(xù)性的Hopfield網(wǎng)絡

當激活函數(shù)為線性函數(shù)時，即第65頁/共97頁連續(xù)性的Hopfield網(wǎng)絡

對于非線性系統(tǒng)進行穩(wěn)定性分析，方法之一就是在系統(tǒng)的平衡點附近對系統(tǒng)進行線性化處理。也可以基于網(wǎng)絡的能量函數(shù)。下面介紹Hopfield能量函數(shù)法。第66頁/共97頁連續(xù)性的Hopfield網(wǎng)絡第67頁/共97頁連續(xù)性的Hopfield網(wǎng)絡

此定理表明，隨著時間的演化，網(wǎng)絡的狀態(tài)總是朝能量減少的方向運動。網(wǎng)絡的平衡點就是E的極小點。第68頁/共97頁連續(xù)性的Hopfield網(wǎng)絡3.關于Hopfield能量函數(shù)的幾點說明1）能量函數(shù)為反饋網(wǎng)絡的重要概念。根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性；2）能量函數(shù)與李雅普諾夫函數(shù)的區(qū)別在于：李氏被限定在大于零的范圍內，且要求在零點值為零；3）Hopfield選擇的能量函數(shù)，只是保證系統(tǒng)穩(wěn)定和漸進穩(wěn)定的充分條件，而不是必要條件，其能量函數(shù)也不是唯一的。

當對反饋網(wǎng)絡應用能量函數(shù)后，從任一初始狀態(tài)開始，因為在每次迭代后都能滿足E≤0，所以網(wǎng)絡的能量將會越來越小，最后趨于穩(wěn)定點E=0。Hopfield能量函數(shù)的物理意義是：在那些漸進穩(wěn)定點的吸引域內，離吸引點越遠的狀態(tài)，所具有的能量越大，由于能量函數(shù)的單調下降特性，保證狀態(tài)的運動方向能從遠離吸引點處，不斷地趨于吸引點，直到達到穩(wěn)定點。第69頁/共97頁連續(xù)性的Hopfield網(wǎng)絡4.關于CHNN的幾點結論：1）具有良好的收斂性；

2）具有有限個平衡點；

3）如果平衡點是穩(wěn)定的，那么它也一定是漸進穩(wěn)定的；

4）漸進穩(wěn)定平衡點為其能量函數(shù)的局部極小點；

5）能將任意一組希望存儲的正交化矢量綜合為網(wǎng)絡的漸進平衡點；

6）網(wǎng)絡的存儲信息表現(xiàn)為神經元之間互連的分布式動態(tài)存儲；

7）網(wǎng)絡以大規(guī)模、非線性、連續(xù)時間并行方式處理信息，其計算時間就是網(wǎng)絡趨于平衡點的時間。第70頁/共97頁連續(xù)性的Hopfield網(wǎng)絡Hopfield網(wǎng)絡在組合優(yōu)化中的應用

組合優(yōu)化問題，就是在給定約束條件下，求出使目標函數(shù)極?。ɑ驑O大）的變量組合問題。

將Hopfield網(wǎng)絡應用于求解組合優(yōu)化問題，就是把目標函數(shù)轉化為網(wǎng)絡的能量函數(shù)，把問題的變量對應于網(wǎng)絡的狀態(tài)。這樣當網(wǎng)絡的能量函數(shù)收斂于極小值時，問題的最優(yōu)解也隨之求出。

第71頁/共97頁連續(xù)性的Hopfield網(wǎng)絡旅行商問題，簡稱TSP（TravelingSalesmanProblem）。問題的提法是：設有N個城市， ,記為： ,用dij表示ci和cj之間的距離，dij>0,(i,j=1,2,…n)。有一旅行商從某一城市出發(fā)，訪問各城市一次且僅一次后再回到原出發(fā)城市。要求找出一條最短的巡回路線。N=5TSPProbelm，N=5，并用字母A、B、C、D、E、分別代表這5個城市。當任選一條路徑如B->D->E->A->C，則其總路徑長度可表示為第72頁/共97頁連續(xù)性的Hopfield網(wǎng)絡第一步就是將問題映照到一個神經網(wǎng)絡。假定每個神經元的放大器有很高的放大倍數(shù)，神經元的輸出限制在二值0和1上，則映照問題可以用一個換位矩陣（PermutationMatrix）來進行，換位矩陣可如下圖所示。

次序城市12345A00010B10000C00001D01000E00100第73頁/共97頁連續(xù)性的Hopfield網(wǎng)絡約束條件和最優(yōu)條件矩陣的每個元素對應于神經網(wǎng)絡中的每個神經元，則這個問題可用N2=52=25個神經元組成的Hop-field網(wǎng)絡來求解。

問題的約束條件和最優(yōu)條件如下：（1)

一個城市只能被訪問一次=>換位矩陣每行只有一個“1”。

（2）一次只能訪問一個城市=>換拉矩陣每列只有一個“1”。

（3）總共有N個城市=>換位矩陣元素之和為N。

(4）求巡回路徑最短=>網(wǎng)絡能量函數(shù)的最小值對應于TSP的最短路徑。

第74頁/共97頁連續(xù)性的Hopfield網(wǎng)絡用vij表示換位矩陣第i行、第j列的元素，顯然只能取1或0。同時，vij也是網(wǎng)絡神經元的狀態(tài)。結論:構成最短路徑的換位矩陣一定是形成網(wǎng)絡能量函數(shù)極小點的網(wǎng)絡狀態(tài)。第75頁/共97頁連續(xù)性的Hopfield網(wǎng)絡建立能量函數(shù)1）優(yōu)化目標在換位矩陣中，順序訪問兩城市所有可能途徑（長度）可表示為N個城市兩兩之間所有可能的訪問路徑的長度可表示為當這項最小時，則它就表示訪問N個城市的最短距離。第76頁/共97頁連續(xù)性的Hopfield網(wǎng)絡2）對應于第（1）個約束條件第x行的所有元素

按順序兩兩相乘之和

應為0。N個行的所有元素按順序兩兩相乘之和

也應為0。則可得網(wǎng)絡能量函數(shù)的第一項，項前乘系數(shù)A/2，

第77頁/共97頁連續(xù)性的Hopfield網(wǎng)絡3）對應于第（2）個約束條件，可得能量函數(shù)的第二項，式中B/2為系數(shù)。4)對應于第（3）個約束條件，換位矩陣中所有為“1”元素之和應等于N由此可得網(wǎng)絡能量函數(shù)的第三項式中，取平方值是為了使這項符合能量的表達形式，同時也體現(xiàn)了對不符合約束條件時的一種懲罰；C/2為系數(shù)。第78頁/共97頁連續(xù)性的Hopfield網(wǎng)絡5）網(wǎng)絡能量函數(shù)的最后表達式將優(yōu)化目標乘以D/2，由此得到網(wǎng)絡能量函數(shù)的第四項，則最后的網(wǎng)絡能量函數(shù)為：

第79頁/共97頁連續(xù)性的Hopfield網(wǎng)絡確定網(wǎng)絡神經元之間的連接權及神經元輸出的閥值。設網(wǎng)絡神經元與

神經元之間的連接權為

，神經元

輸出的閥值為

，則比較能量函數(shù)，即可確定神經網(wǎng)絡的權值和閾值。第80頁/共97頁連續(xù)性的Hopfield網(wǎng)絡確定的神經網(wǎng)絡權值為：TSP網(wǎng)絡的迭代方程為：第81頁/共97頁連續(xù)性的Hopfield網(wǎng)絡迭代步驟：（1）初始化：給定一個

值（例如

）。這保證收斂于正確解，按下式取網(wǎng)絡各神經元的初始狀態(tài)：

式中

，其中N為網(wǎng)絡神經元個數(shù)；

為（-1，+1）區(qū)間的隨機值。（2）求出各神經元的輸出

第82頁/共97頁迭代續(xù)1第83頁/共97頁

Hopfield網(wǎng)絡在系統(tǒng)辨識中的應用

在系統(tǒng)辨識中，直接采用Hopfield神經網(wǎng)絡對時域內動態(tài)系統(tǒng)實現(xiàn)參數(shù)估計是一種簡單而直接的動態(tài)系統(tǒng)辨識方法。該方法的特點是根據(jù)Hopfield神經網(wǎng)絡的動力學機制，使其神經元的輸出值對應待識參數(shù)，則系統(tǒng)趨于穩(wěn)定的過程就是待辨識參數(shù)辨識的過程。利用Hopfield網(wǎng)絡進行辨識時，取所定義的辨識能量函數(shù)等于Hopfield網(wǎng)絡標準能量函數(shù)，通過Hopfield神經網(wǎng)絡動態(tài)方程，得到Hopfield網(wǎng)絡的連接權矩陣和神經元的外部輸入，然后將其代入Hopfield網(wǎng)絡動態(tài)方程運行，經過一段時間后，可得到穩(wěn)定的參數(shù)辨識結果。第84頁/共97頁（1）系統(tǒng)描述

設待辨識為二階線性系統(tǒng)的參數(shù)，系統(tǒng)的狀態(tài)方程為其中、為待辨識的參數(shù)矩陣，取，

且狀態(tài)矢量