外文翻譯--RBF 神經網絡.doc

附錄A2RBF神經網絡2.1神經網絡原理人腦存儲的信息是分布式地存儲在腦細胞之間的關聯(lián)上，而不是保存在腦細胞的內部。腦細胞通過它們之間的作用關系(如激勵和抑制)來存儲。人工模擬這種映射關系的系統(tǒng)稱為(人工)神經網絡(ANN)。神經網絡是一個具有高度非線性的超大規(guī)模連續(xù)時間動力系統(tǒng)，是由大量的處理單元(神經元)廣泛互連而形成的網絡。它是在現(xiàn)代神經科學研究成果的基礎上提出的，反映了腦功能的基本特征。但它并不是人腦的真實描寫，而只是它的某種抽象、簡化與模擬。網絡的信息處理由神經元之間的相互作用來實現(xiàn)，知識與信息的存儲表現(xiàn)為網絡元件互連間分布式的物理聯(lián)系，網絡的學習和計算決定于各神經元連接權系的動態(tài)演化過程。其中，神經元構成了網絡的基本運算單元，每個神經元具有自己的閡值，每個神經元的輸入信號是所有與其相連的神經元的輸出信號和加權后的和。而輸出信號是其凈輸入信號的非線性函數(shù)。如果輸入信號的加權集合高于其閑值，該神經元便被激活而輸出相應的值。在人工神經網絡中所存儲的是單元之間連接的加權值陣列。神經網絡的工作過程主要由兩個階段組成:一個階段是工作期。此時各連接權值固定，計算單元的狀態(tài)變化，以求達到穩(wěn)定狀態(tài)。另一階段是學習期(自適應期，或設計期)。此時各計算單元狀態(tài)不變，各連接權值可修改(通過學習樣本或其他方法)。前一階段較快，各單元的狀態(tài)亦稱短期記憶(STM)。后一階段慢的多，權及連接方式亦稱長期記(LTM)。目前神經網絡的結構有近百種之多，算法更無法記數(shù)。根據網絡特性，神經網絡大致可以分為靜態(tài)和動態(tài)兩類。靜態(tài)網絡當前的輸出僅僅反映當前輸入數(shù)據的處理結果。動態(tài)網絡是有記憶能力的網絡，記憶能力可以是由于神經元傳遞函數(shù)是微分或差分方程導致的；也可以是由于網絡的輸出或網絡內部的狀態(tài)反饋到網絡的輸入端產生的。下面對于一些常見于控制系統(tǒng)中的網絡結構和算法作簡要的介紹。2.1.1神經網絡的結構類型1.神經網絡的基本結構神經網絡是由大量簡單神經元相互連接構成的復雜網絡。圖2-1是一個典型的單層神經網絡模型，它具有R維輸入，S個神經元。p為RXI維的輸入矢量，網絡層由權值矩陣W(SxR)、閉值矢量b(Sxl)、求和單元。和傳遞函數(shù)運算單元f組成，S個神經元的輸出組成了Sxl維的神經網絡輸出矢量a。其中，輸入層網絡權值矩陣W和閥值矢量b的具體形式如下:在單層神經網絡的基礎上可以構造多層神經網絡。一個典型的三層神經網絡模型2.神經網絡的分類神經網絡的類型多種多樣，它們是從不同角度對生物神經系統(tǒng)不同層次的抽象和模擬【18】。一般來說，當神經元的模型確定之后，一個神經網絡的特性及其功能主要取決于網絡的拓撲結構及學習方法。按網絡拓撲結構主要可分為前饋型和反饋型兩種19，13。（1）饋型網絡。各神經元接受前一層的輸入，并輸出給下一層，沒有反饋，結點分為兩類，即輸入單元和計算單元，每一計算單元可有多個輸入，但只有一個輸出(它可藕合到任意多個其他結點作為其輸入)。通常前饋網絡可分為不同的層，第i層的輸入只與第i一1層輸出相連，輸入和輸出結點與外界相連，而其他中間層則稱為隱層。（2）饋型網絡。所有結點都是計算單元，同時也可接受輸入，并向外界輸出，可畫成一個無向圖，如圖2-4(a)，其中每個連接弧都是雙向的，也可畫成如圖2-4(b)的形式。若總單元數(shù)為n，則每一個結點有n-1個輸入和一個輸出。神經網絡的工作過程主要分為兩個階段:第一個階段是學習期，此時各計算單元狀態(tài)不變，各連接上的權值可通過學習來修改；第二階段是工作期，此時各連接權固定，計算單元狀態(tài)變化，以達到某種穩(wěn)定狀從作用效果看，前饋網絡主要是函數(shù)映射，可用于模式識別和函數(shù)逼近。反饋網絡按對能量函數(shù)的極小點的利用來分類有兩種:第一類是能量函數(shù)的所有極小點都起作用，這一類主要用作各種聯(lián)想存儲器；第二類只利用全局極小點，它主要用于求解最優(yōu)化問題。2.1.2神經網絡在控制中的應用K.J.Hunt和D.Sbrabaro等總結了神經網絡用于控制系統(tǒng)最吸引人的幾個特征:神經網絡是本質的非線性系統(tǒng)、具有高度并行的結構、某些網絡可以硬件實現(xiàn)、具有學習和自適應性、可以同時處理定性的和定量的數(shù)據、多變量系統(tǒng)等特點。神經網絡在控制系統(tǒng)中無論是作為控制器還是作為實際系統(tǒng)的辯識模型，都是以神經網絡的函數(shù)逼近能力為基礎的。有兩種基本的神經網絡的應用方式:正模型(辯識)和逆模型(控制器)正模型法通過訓練使一個神經網絡逼近一個系統(tǒng)的正向模型，以模型和實際系統(tǒng)輸出的差值作為網絡訓練的誤差信號來修正網絡權值。假設系統(tǒng)的模型訓練可以一直采用實際系統(tǒng)的數(shù)據y以保證訓練的穩(wěn)定性，或者在一定的訓練步數(shù)后采用神經網絡以前的輸出作為網絡輸入來避免有噪聲的數(shù)據對辯識結果的影響。逆模型法通過訓練得到系統(tǒng)動態(tài)的逆模型或控制器，串聯(lián)在原系統(tǒng)前面使系統(tǒng)簡化或滿足一定的控制要求。有兩種基本的神經網絡求逆結構:直接逆結構和間接逆結構直接逆結構輸入一個信號到實際系統(tǒng)，其輸出作為神經網絡的輸入，把網絡的輸出和加入信號的差值作為誤差訓練網絡。直接逆結構有兩個嚴重的缺點:(l)由于神經網絡逆模型的輸入是由實際系統(tǒng)的輸出得到的，可能不完全覆蓋逆問題的輸入空間；(2)如果系統(tǒng)不是一對一的，在不能得到全部輸入空間特征訓練點集的情況下，可能得到錯誤的逆模型。采用神經網絡間接逆結構可以部分地克服上面兩點缺點。間接逆結構輸入信號到神經網絡，然后把網絡輸出送到實際系統(tǒng)，系統(tǒng)輸出與輸入到網絡的信號差值用來訓練神經網絡。采用該結構，網絡的輸入可以人工選擇，可以使輸入的信號能夠代表逆系統(tǒng)輸入空間的特征。當網絡不是一對一的時候，可以學習得到具有某些特定性質的部分逆模型。2.2徑向基函數(shù)神經網絡及其學習算法徑向基函數(shù)(RadialBasisFunction)神經網絡是由J.Moody和C.Darken在20世紀80年代末提出的一種神經網絡，它是具有單隱層的三層前饋網絡。由于它模擬了人腦中局部調整、相互覆蓋接收域(或稱感受野一RecePtiveField)的神經網絡結構，因此，徑向基函數(shù)(徑向基)神經網絡網絡是一種局部逼近網絡，即對于輸入空間的某一局部區(qū)域只存在少數(shù)的神經元用于決定網絡的輸出。已證明它能以任意精度逼近任意連續(xù)函數(shù)。徑向基函數(shù)理論是一種對多輸入、多輸出非線性系統(tǒng)的辨識方法，以此而建立的徑向基網絡可實現(xiàn)對非線性系統(tǒng)的模式識別與分類。2.2.1徑向基函數(shù)神經元模型一個具有R維輸入的徑向基函數(shù)神經元模型如圖2一7所示。圖中的dist模塊表示求取輸入矢量和權值矢量的距離。此模型中采用高斯函數(shù)radbas作為徑向基函數(shù)神經元的傳遞函數(shù)，其輸n入為輸入矢量p和權值矢量w的距離乘以閡值b。高斯函數(shù)是典型的徑向基函數(shù)，其表達式為f(x)=e-x2其函數(shù)曲線如圖2一8所示中心與寬度是徑向基函數(shù)神經元的兩個重要參數(shù)。神經元的權值矢量w確定了徑向基函數(shù)的中心，當輸入矢量p與w重合時，徑向基函數(shù)神經元的輸出達到最大值，當輸入矢量p距離w越遠時，神經元輸出就越小。神經元的閉值b確定了徑向基函數(shù)的寬